[論文レビュー] Nonparametric Bayesian Deep Networks with Local Competition

Konstantinos P. Panousis, Sotirios Chatzis+1 more|arXiv (Cornell University)|May 19, 2018

Gaussian Processes and Bayesian Inference参考文献 29被引用数 3

ひとこと要約

本論文では、局所的ウィナー・トゥクーズ・オール（LWTA）非線形性とスティック・ブレイキング事前分布を用いて、トレーニング中に最小限のネットワーク複雑性と最適な浮動小数点精度を推定する、非パrametricなベイズ的ディープラーニングフレームワーク、SB-LWTAネットワークを提案する。成分の有効性を離散的潜在変数でモデル化し、ベイズ推論を実行することで、計算コストを著しく削減した上で予測精度を維持し、MNISTおよびLeNet-5-Caffeベンチマークにおいて既存手法を上回る性能を達成した。

ABSTRACT

The aim of this work is to enable inference of deep networks that retain high accuracy for the least possible model complexity, with the latter deduced from the data during inference. To this end, we revisit deep networks that comprise competing linear units, as opposed to nonlinear units that do not entail any form of (local) competition. In this context, our main technical innovation consists in an inferential setup that leverages solid arguments from Bayesian nonparametrics. We infer both the needed set of connections or locally competing sets of units, as well as the required floating-point precision for storing the network parameters. Specifically, we introduce auxiliary discrete latent variables representing which initial network components are actually needed for modeling the data at hand, and perform Bayesian inference over them by imposing appropriate stick-breaking priors. As we experimentally show using benchmark datasets, our approach yields networks with less computational footprint than the state-of-the-art, and with no compromises in predictive accuracy.

研究の動機と目的

• データ駆動型のネットワーク複雑性推定を可能にすることで、ディープニューラルネットワークにおける過剰パラメータ化と高コストな計算を是正すること。
• 自動的なネットワークプルーニングと精度圧縮を通じて、リソース制約のあるデバイスへのスケーラビリティを向上させ、モデルの冗長性を低減すること。
• 非パrametricな事前分布を用いて、ネットワーク構造とパラメータ精度を同時に推論する原理的で整合性のあるベイズフレームワークの構築。
• 生物学的に妥当なスパースで特徴的な表現を実現するため、局所的ウィナー・トゥクーズ・オール（LWTA）メカニズムを活用すること。
• 正則化、蒸留、プルーニングの既存手法を上回る予測精度と計算効率を達成すること。

提案手法

• 局所的ウィナー・トゥクーズ・オール（LWTA）ユニットに基づくディープネットワークアーキテクチャを導入し、隣接抑制によって1ブロックあたり1つのユニットのみが活性化される。
• データのモデリングに実際に必要なネットワーク成分（ユニットまたは接続）を表すために、補助的な離散的潜在変数を採用する。
• これらの潜在変数にスティック・ブレイキング事前分布を適用し、成分の有効性とモデルの複雑さを非パラメトリックなベイズ推論で推定可能にする。
• ネットワーク成分および重み精度の事後分布推論を効率的に行うために、確率的勾配変分ベイズ（SGVB）を用いる。
• 推定された重み事後分布の分散を分析することで最適な浮動小数点精度を推定し、精度損なわず圧縮を可能にする。
• SB-LWTAモデルを、ヒューリスティックな蒸留や正則化手法の代替として原理的かつデータ駆動型の代替手段として導出する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ非パラメトリックフレームワークは、与えられたデータセットに必要な最小限のネットワーク複雑性を効果的に推定できるか？
• RQ2 ディープニューラルネットワークにおけるローカル競合（LWTA）の使用は、標準的な非線形性と比較して、より効率的かつ正確なモデルをもたらすか？
• RQ3 スティック・ブレイキング事前分布は、ディープニューラルネットワークにおけるネットワーク構造とパrameter精度の両方の推定に効果的に適応可能か？
• RQ4 提案手法は、予測精度を維持または向上させながら、計算コストをどの程度低減できるか？
• RQ5 LWTAブロック内のウィナー選択パターンは、異なるクラス間で特徴的で一般化可能な特徴をどのように反映しているか？

主な発見

• SB-LWTAネットワークは、MNISTデータセットにおいて、比較したすべての手法の中で予測精度が最も高く、元のLeNet-5-Caffeアーキテクチャでさえも上回った。
• すべてのベースラインと比較して、特徴マップの数を最も低く抑えることができ、優れた構造的圧縮を示した。
• 予測時間は元のネットワークと比較して1桁減少し、顕著な推論効率の向上を示した。
• 1エポックあたりの平均トレーニング時間は、元のネットワークと比較してわずか10%しか増加しなかったため、トレーニングのオーバーヘッドが最小限であった。
• MNISTの各数字におけるウィナー選択確率に有意義な差が見られ、モデルがクラス固有のパターンを学習していることが示された。
• 数字ペア間のウィナー・ユニットの重複率は常に50%未満であり、ウィナー・トゥクーズ・オール機構が一意で一般化可能な表現を符号化していることを確認した。