[論文レビュー] Mean Field Bayes Backpropagation: scalable training of multilayer neural networks with binary weights

Daniel Soudry, Ron Meir|arXiv (Cornell University)|Oct 7, 2013

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

本稿では、バイナリ重みを備えたマルチレイヤーニューラルネットワークをトレーニングするスケーラブルなベイジアン学習アルゴリズムであるMean Field Bayes Backpropagation (MFB-BackProp) を提案する。平均場近似と大スケールのファンイン仮定を組み合わせることで、MNIST において実数値ネットワークと同等の性能を達成するとともに、最小限の計算オーバーヘッドで効率的なハードウェア実装を可能にする。

ABSTRACT

Significant success has been reported recently using deep neural networks for classification. Such large networks can be computationally intensive, even after training is over. Implementing these trained networks in hardware chips with a limited precision of synaptic weights may improve their speed and energy efficiency by several orders of magnitude, thus enabling their integration into small and low-power electronic devices. With this motivation, we develop a computationally efficient learning algorithm for multilayer neural networks with binary weights, assuming all the hidden neurons have a fan-out of one. This algorithm, derived within a Bayesian probabilistic online setting, is shown to work well for both synthetic and real-world problems, performing comparably to algorithms with real-valued weights, while retaining computational tractability.

研究の動機と目的

• バイナリシナプス重みを備えたマルチレイヤーニューラルネットワークのためのスケーラブルでベイジアンな学習アルゴリズムの開発。
• 大規模なバイナリ重みネットワークにおける正確なベイジアン推論の計算的非実行可能性の克服。
• 分類精度を損なわずに、バイナリ重み制約を用いてトレーニング済みネットワークの効率的なハードウェア実装を可能にすること。
• 従来、1層ネットワークに限定されていた近似ベイジアン手法を、マルチレイヤー領域へ一般化すること。
• パラメータフリーのオンライン学習アルゴリズムを用いて、バイナリ重みネットワークが実数値ネットワークと同等の性能を達成できることを示すこと。

提案手法

• 計算の実行可能性を保証するため、因子化された後方分布近似（平均場）の下で、シナプス重みのオンラインベイジアン更新ルールを導出する。
• ニューロン入力をガウス分布として近似できるように、大スケールのファンイン仮定を適用し、後方分布の更新を解析的に計算可能にする。
• アモルチインヴァリアンスを保持し、学習ダイナミクスを安定化させるために、飽和型活性化関数（tanh）を用いる。
• ベイジアン原則から導かれたパラメータフリーの学習ルールを採用し、初期条件が唯一のハイパーパrameterとなる。
• すべての隠れニューロンのファンアウトが1である収束型ネットワークアーキテクチャにアルゴリズムを適応させ、後方分布の更新構造を単純化する。
• 標準的なバックプロパゲーションとの類似性を活用しながら、原理的で整合性のあるベイジアンフレームワークを維持し、重み更新ダイナミクスと正規化の点で差異をもたらす。

実験結果

リサーチクエスチョン

• RQ1 バイナリ重みを備えたマルチレイヤーニューラルネットワークに対して、スケーラブルで完全なベイジアン学習アルゴリズムを開発できるか？
• RQ2 平均場近似と大スケールのファンイン仮定を組み合わせた手法が、これらの仮定が満たされない場合でも、バイナリ重みネットワークで有効な学習を可能にするか？
• RQ3 本手法でトレーニングされたバイナリ重みネットワークが、標準ベンチマークで実数値ネットワークと同等の分類性能を達成できるか？
• RQ4 提案手法は計算的に効率的であり、最小限の精度要件でハードウェア実装に適しているか？
• RQ5 ベイジアンフレームワークを、1層ネットワークに限定されていたのを、バイナリ重みを備えた深層アーキテクチャへ拡張できるか？

主な発見

• MFB-BackProp アルゴリズムは、MNIST データセットで、同サイズの実数値マルチレイヤーネットワークと同等のテスト誤差率を達成し、優れた一般化性能を示している。
• 全結合型1層ネットワーク（785×10）において、バイナリ重みバージョンは29%のテスト誤差率を達成し、クリッピングバックプロパゲーションベースラインを著しく上回っており、本手法でトレーニングされた場合、バイナリ重みが本質的に性能を低下させないことを示している。
• 小さなファンインを持つ合成的なティーチャーストゥーデントシナリオでも、本手法は良好に動作し、大スケールのファンイン仮定の違反に対してもロバストであることが示された。
• 本手法は重み数に比例する線形計算量を示し、標準的なバックプロパゲーションと同等の計算複雑性を持つ。初期事前分布を除き、完全にパラメータフリーである。
• 本手法は、モンテカルロサンプルを回避するという点で、大規模応用に適した、マルチレイヤーネットワーク向けの最初のスケーラブルなベイジアントレーニング手法である。
• 導出されたアルゴリズムは、既知の1層バイナリネットワーク用オンライン学習ルールに類似しており、整合性の高さと、より深いアーキテクチャへの拡張可能性を示唆している。