[論文レビュー] Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket

Nianhui Guo, Joseph Bethge+2 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文は、Info-RCPおよびELM-Attentionモジュールを備えた新規バイナリアーキテクチャを設計することで、最先端の知識蒸留法と近代化されたデータオーグメンテーションを用いて、ImageNetで80.57%のトップ-1精度を達成する最初のバイナリニューラルネットワークBNextを紹介する。この手法により、滑らかな損失ランドスケープが得られ、通常のバイナリネットワークに見られる精度のギャップが克服される。

ABSTRACT

Binary neural networks are the extreme case of network quantization, which has long been thought of as a potential edge machine learning solution. However, the significant accuracy gap to the full-precision counterparts restricts their creative potential for mobile applications. In this work, we revisit the potential of binary neural networks and focus on a compelling but unanswered problem: how can a binary neural network achieve the crucial accuracy level (e.g., 80%) on ILSVRC-2012 ImageNet? We achieve this goal by enhancing the optimization process from three complementary perspectives: (1) We design a novel binary architecture BNext based on a comprehensive study of binary architectures and their optimization process. (2) We propose a novel knowledge-distillation technique to alleviate the counter-intuitive overfitting problem observed when attempting to train extremely accurate binary models. (3) We analyze the data augmentation pipeline for binary networks and modernize it with up-to-date techniques from full-precision models. The evaluation results on ImageNet show that BNext, for the first time, pushes the binary model accuracy boundary to 80.57% and significantly outperforms all the existing binary networks. Code and trained models are available at: https://github.com/hpi-xnor/BNext.git.

研究の動機と目的

• バイナリニューラルネットワーク（BNNs）とフル精度モデルの間の、ImageNetにおける持続的な精度ギャップを埋めること。
• ILSVRC-2012 ImageNetでBNNが重要な80%のトップ-1精度のしきい値に達することを可能にすること。
• BNNにおける最適化の課題、特に険しい損失ランドスケープとトレーニング中の過学習を解決すること。
• バイナリネットワークに特化した、データオーグメンテーションと知識蒸留技術の近代化を図ること。
• BNNが表現学習のための強力な特徴抽出器として機能できることを示すこと。

提案手法

• バイナリ化の前後での分布ギャップを低減するため、バッチノーマライゼーションとPReLUを用いた新規バイナリプロセッシングユニットであるInfo-RCPを提案。その後、情報の再結合を図る軽量なアテンションブランチを追加する。
• 各基本ブロック内で出力を動的にキャリブレーションするための乗算型可学習要素バイパスを用いる、ELM-Attentionモジュールを導入。
• 段階的深度と幅のスケジューリングを用いて、Info-RCPとELM-Attentionブロックをスタックすることで、BNextアーキテクチャファミリーを設計。
• KC(x)に基づく教師選択と、EfficientNet-B0およびB2のギャップ感受性アンサンブルを用いた多様な連続的知識蒸留（KD）戦略を開発し、学生モデルの性能向上を図る。
• ランダムオーグメンテーション（Rand Augmentation）を主なデータオーグメンテーション戦略として採用し、BNNにおいてMixupやCutmixよりも優れた一般化性能を示す。
• トレーニング後の量子化を適用し、SEブランチの重みを4ビットにまで低減しても、80.37%のトップ-1精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 バイナリニューラルネットワークが、これまでのBNNが達成できなかった、ImageNetで80%以上のトップ-1精度を達成できるか？
• RQ2 BNNの最適化プロセスをどのように改善すれば、険しい損失ランドスケープを軽減し、局所最適解への収束を回避できるか？
• RQ3 知識蒸留はBNNの精度向上にどのような役割を果たし、バイナリネットワークに最適化するにはどうすればよいか？
• RQ4 高精度なBNNをトレーニングする際に、どのデータオーグメンテーション技術が最も効果的か？また、標準的な手法（Mixup や Cutmix）は一般化性能を発揮するのか？
• RQ5 トレーニング後の量子化によって、BNNの精度をどの程度維持できるか？性能の劣化を防げるか？

主な発見

• BNext-LはImageNetで80.57%のトップ-1精度を達成し、初めて80%のしきい値を超えたBNNである。
• BNext-18は著しく滑らかな損失ランドスケープを示し、フル精度のResNet-18に非常に近い形状をとる。
• KC(x)に基づく教師選択は、標準的なResNet-101を用いたKDに比べて0.57%の精度向上をもたらす。
• ギャップ感受性アンサンブルKDとRand Augmentationを適用することで、それぞれ0.05%および0.08%の精度向上が得られ、さらに512エポックにまで延長トレーニングを実施することで、72.40%のトップ-1精度が達成された。
• Rand Augmentationはベースラインに比べて2.49%の精度向上をもたらすが、MixupやCutmixは混合または悪影響を示す。
• 8ビットの重みと活性化にトレーニング後の量子化を適用しても、精度はたった0.10%低下するのみで、SEブランチの重みを4ビットにまで低減しても80.37%のトップ-1精度を維持し、依然として80%以上を保持する。