[論文レビュー] Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation

Zhiyong Cheng, Daniel Soudry+2 more|arXiv (Cornell University)|Mar 12, 2015

Neural Networks and Applications参考文献 7被引用数 41

ひとこと要約

本稿では、画像分類のためのバイナリマルチレイヤーニューラルネットワーク（BMNN）を訓練するために期待値誤差逆伝播（EBP）を用いることを提案している。これにより、効率的なハードウェアデプロイメントが可能になる。MNISTデータセットにおいて、EBPはバイナリ重みで2.12%のテスト誤差、実数重みで1.66%のテスト誤差を達成し、通常のバックプロパゲーションと同等の性能を示している。

ABSTRACT

Compared to Multilayer Neural Networks with real weights, Binary Multilayer Neural Networks (BMNNs) can be implemented more efficiently on dedicated hardware. BMNNs have been demonstrated to be effective on binary classification tasks with Expectation BackPropagation (EBP) algorithm on high dimensional text datasets. In this paper, we investigate the capability of BMNNs using the EBP algorithm on multiclass image classification tasks. The performances of binary neural networks with multiple hidden layers and different numbers of hidden units are examined on MNIST. We also explore the effectiveness of image spatial filters and the dropout technique in BMNNs. Experimental results on MNIST dataset show that EBP can obtain 2.12% test error with binary weights and 1.66% test error with real weights, which is comparable to the results of standard BackPropagation algorithm on fully connected MNNs.

研究の動機と目的

• マルチクラス画像分類のためのバイナリマルチレイヤーニューラルネットワーク（BMNN）を期待値誤差逆伝播（EBP）アルゴリズムで訓練する可能性を検討すること。
• ネットワークアーキテクチャの変化（深さと幅）を考慮して、MNISTデータセット上でEBPで訓練されたBMNNの性能を評価すること。
• ドロップアウトや空間フィルタリングなどの正則化技術が、EBPで訓練されたBMNNの性能に与える影響を検討すること。
• バイナリ重みを用いたBMNNと、EBPで訓練された実数値重みを持つMNNの性能を比較し、効率性と精度のトレードオフを評価すること。

提案手法

• EBPはベイジアンフレームワーク内でオンライン学習を実行するために用いられ、重みの事後分布を平均場近似を用いて更新する。
• アルゴリズムは重みの事後分布を要因分解する平均場近似を用い、計算可能なオンライン更新を可能にする：$\hat{P}(\mathcal{W}|D_n) \propto \hat{P}(\mathbf{y}^{(n)}|\mathbf{x}^{(n)}, W_{ij,l}, D_{n-1}) \hat{P}(W_{ij,l}|D_{n-1})$。
• バイナリ重みは符号活性化関数により強制される：$\mathbf{v}_l = \text{sign}(\mathbf{W}_l \mathbf{v}_{l-1})$。これにより、推論時にはすべての重みが±1に保たれる。
• ドロップアウトは、固定確率で隠れユニットをランダムにマスクすることで訓練時に適用され、EBPで訓練されたBMNNの汎化性能を向上させる。
• 空間フィルタリングは、1次元の入力ベクトルを2次元の画像グリッド（例：28×28）に再形状することで検討され、局所的受容野を用いて空間構造をモデル化できるようにする。
• ネットワークはEBPで訓練され、バイナリ重み（B-EBP）および実数値重み（R-EBP）を用い、ドロップアウト有無（-D）を区別し、テスト誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 EBPはMNISTデータセットにおけるマルチクラス画像分類のためのBMNNを効果的に訓練できるか？
• RQ2 ネットワークの深さ（1層対2層の隠れ層）が、EBPで訓練されたBMNNの性能に与える影響は何か？
• RQ3 ドロップアウトは、EBPで訓練されたBMNNの汎化性能をどの程度向上させるか？
• RQ4 2次元入力の再形状による空間構造の組み込みは、EBPを用いたBMNNの分類精度を向上させるか？
• RQ5 EBPで訓練されたBMNNの性能は、同じタスクでEBPで訓練された実数値MNNと比べてどうか？

主な発見

• EBPはバイナリ重みを用いてMNISTで2.12%のテスト誤差を達成し、BMNNが最小限の計算コストで優れた性能を発揮できることを示している。
• 実数値重みを用いた場合、EBPは1.66%のテスト誤差を達成し、完全結合MNNにおける通常のバックプロパゲーションと同等の性能を示している。
• 2隠れ層を持つBMNNは1隠れ層のネットワークを上回る性能を示しており、EBPによるバイナリ設定でもより深いアーキテクチャが有効であることが示された。
• ドロップアウトは汎化性能を顕著に向上させる：例えば、[400,400]構成において、B-EBP-DはB-EBP-Pと比較して誤差を2.39%から2.12%に低下させた。
• 空間フィルタリングは実数値ネットワークでは性能を向上させる（例：R-EBP-Pは225ユニットで2.03%）、一方でバイナリ重みネットワークでは性能を低下させる（最良のB-EBP-Pは3.56%）。
• ドロップアウトを適用することで、バイナリ重みと実数値重みのネットワーク間の性能差が縮小され、正則化がバイナリ重みの表現力の制限を緩和する可能性を示唆している。