[論文レビュー] Binarized Neural Networks on the ImageNet Classification Task

Xundong Wu, Yong Wu+1 more|arXiv (Cornell University)|Apr 11, 2016

Advanced Neural Network Applications参考文献 11被引用数 18

ひとこと要約

本論文は、13層のネットワークを用いてImageNet ILSVRC-2012検証セットでトップ5精度84.1%を達成する、新しいバイナリニューラルネットワーク（BNN）アーキテクチャおよびトレーニング戦略を提示する。広い初期層の採用、重み適応の安定化のための低学習率、および事前学習済みの残差ネットワークからのソフトターゲットを用いたネットワーク distillation を通じて、従来の研究を大きく上回るBNNの性能向上を実現した。

ABSTRACT

We trained Binarized Neural Networks (BNNs) on the high resolution ImageNet ILSVRC-2102 dataset classification task and achieved a good performance. With a moderate size network of 13 layers, we obtained top-5 classification accuracy rate of 84.1 % on validation set through network distillation, much better than previous published results of 73.2% on XNOR network and 69.1% on binarized GoogleNET. We expect networks of better performance can be obtained by following our current strategies. We provide a detailed discussion and preliminary analysis on strategies used in the network training.

研究の動機と目的

• 高解像度のImageNet分類タスクにおけるバイナリニューラルネットワーク（BNN）の性能を向上させること。これは、従来の研究で低精度にとどまっていたためである。
• バイナリニューラルネットワークにおける情報ボトルネックの課題に、初期層を広く設計することで対処すること。同時に、バイナリ計算の効率性を維持する。
• 重み適応の挙動を分析し、適切な学習率を選択することで、トレーニングダイナミクスを最適化すること。
• 事前学習済みの50層残差ネットワークからのソフトラベルを用いたネットワーク distillation を通じて、モデルの精度を向上させること。
• 最小限の計算オーバーヘッドで高精度なBNNをトレーニングできることを示し、リソース制限のあるデバイスへのデプロイを可能にすること。

提案手法

• 初期2段階に広い畳み込み層を備えた13層のBNNを設計した。これにより情報ボトルネックを防ぎつつ、残りのネットワークはバイナリ化して効率を維持した。
• バイナリ化の前の段階で、実数値の重みを持つ非バイナリの最初の畳み込み層を採用し、低レベルの画像特徴をよりよく捉えるようにした。
• 重み分布のダイナミクスの分析に基づき、0.001という低学習率を選択した。これにより、滑らかな重みの遷移と、より速い収束が達成された。高学習率に比べ、重みの振動が小さくなった。
• 重みクリッピングを用いた確率的勾配降下法（SGD）を適用し、トレーニング中にバイナリシナプス状態を維持した。一方で、勾配更新には実数値の内部重みを保持した。
• 事前学習済みの50層残差ネットワークから生成されたソフトラベルを用いたネットワーク distillation を実施。ソフトターゲットとハードターゲットを組み合わせることで、一般化性能を向上させた。
• distillationおよび推論中に出力確率を安定化させるために、最終のソフトマックスの前に固定スケーリング層を導入した。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的およびトレーニングの変更を施すことにより、バイナリニューラルネットワークがImageNet ILSVRC-2012データセットで高い精度を達成できるか？
• RQ2 学習率の選択が、ImageNetでトレーニングされるBNNにおける重み適応および収束速度にどのように影響するか？
• RQ3 初期層を広くすることで、計算効率を損なわずにバイナリネットワークにおける情報ボトルネックを緩和できるか？
• RQ4 事前学習済みの50層残差ネットワークからのソフトラベルを用いたネットワーク distillation が、中規模のBNNのImageNetにおける性能を顕著に向上させられるか？
• RQ5 distillation中にソフトターゲットとハードターゲットを併用することで、BNNの最終分類精度にどのような影響を与えるか？

主な発見

• 広い初期層を備えた修正アーキテクチャと低学習率を用いた13層BNNは、ImageNet検証セットでトップ5精度80.2%を達成した。
• 学習率0.001を用いることで、重み分布がより均一になり、収束が速くなった。一方、0.01では重みが±1の間を振動し、学習ダイナミクスが悪化した。
• 事前学習済みの50層残差ネットワークからのソフトターゲットを用いたネットワーク distillation により、BNNはトップ5精度84.1%を達成した。これは、従来のBNN（例：XNOR-Netでは73.2%）を大きく上回る結果であった。
• ソフトターゲットのみでトレーニングした場合、性能向上は見られなかったが、ソフトターゲットとハードターゲットを組み合わせることで顕著な精度向上が確認された。これにより、ハイブリッド監視の有効性が裏付けられた。
• 提案されたアーキテクチャおよびトレーニング戦略は、高い計算効率を維持しながら、ImageNetにおけるBNNの最先端性能を達成した。これにより、より大きなモデルやマルチスケールテストを用いることでさらなる向上が可能であると示唆された。