[論文レビュー] Training Competitive Binary Neural Networks from Scratch

Joseph Bethge, Marvin Bornstein+3 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Neural Network Applications参考文献 15被引用数 31

ひとこと要約

この論文は、事前学習された高精度モデルに依存せずに、MNIST、CIFAR-10、ImageNetで最先端の精度を達成する、バイナリニューラルネットワーク（BNNs）の新しいトレーニング戦略を提示する。密なショートカット接続の活用、残差接続の増加、および高精度のダウンサンプリング層の使用により、著者らは、BNNが初期化からトレーニング可能であり、BiReal-Netを含む既存手法を上回ることを示した。特に、同サイズのモデルでImageNetで2.2%の精度向上を達成した。

ABSTRACT

Convolutional neural networks have achieved astonishing results in different application areas. Various methods that allow us to use these models on mobile and embedded devices have been proposed. Especially binary neural networks are a promising approach for devices with low computational power. However, training accurate binary models from scratch remains a challenge. Previous work often uses prior knowledge from full-precision models and complex training strategies. In our work, we focus on increasing the performance of binary neural networks without such prior knowledge and a much simpler training strategy. In our experiments we show that we are able to achieve state-of-the-art results on standard benchmark datasets. Further, to the best of our knowledge, we are the first to successfully adopt a network architecture with dense connections for binary networks, which lets us improve the state-of-the-art even further.

研究の動機と目的

• 事前学習された高精度モデルを必要としない、バイナリニューラルネットワークのトレーニング戦略を開発すること。
• 特に密なショートカット接続を用いたアーキテクチャ的革新を通じて、バイナリニューラルネットワークの精度を向上させること。
• 高精度のダウンサンプリング層や増加した残差接続といったアーキテクチャ的選択のBNNパフォーマンスへの影響を評価すること。
• シンプルな最適化戦略に依存して、高精度なBNNを初期化からトレーニング可能であることを示すこと。
• 複雑なファインチューニングを用いずに、標準ベンチマークでBNNの新しい最先端のパフォーマンスを確立すること。

提案手法

• 著者らは、標準的な残差接続を置き換えることで特徴の再利用を向上させる、密なスケーリング接続を用いたバイナリニューラルネットワークアーキテクチャ（DenseNetE）を提案する。
• 特徴マップの縮小過程で情報損失を防ぐために、高精度のダウンサンプリング層を導入し、従来のバイナリダウンサンプリングとは対照的である。
• 独自の勾配近似やスケーリング要因を用いず、標準的な確率的勾配降下法を用いるシンプルでエンドツーエンドのトレーニングパイプラインに依存する。
• 高精度モデルからの知識を一切使用せず、バイナリ重みと活性化のみに依存してランダム初期化からモデルをトレーニングする。
• アーキテクチャ的要素（接続数や層タイプなど）を体系的にアブレーションし、それらが精度に与える影響を分離して評価する。
• モデルサイズと精度を主な評価指標として用い、ResNetEおよびDenseNetEの変種に対してアプローチを比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された高精度モデルを一切使用せず、初期化からトレーニング可能なバイナリニューラルネットワークが、最先端の精度を達成できるか？
• RQ2 ショートカット接続の数を増加させることで、バイナリニューラルネットワークのパフォーマンスにどのような影響を与えるか？
• RQ3 バイナリダウンサンプリングと比較して、高精度のダウンサンプリング層をBNNに適用した場合の影響は何か？
• RQ4 密な接続アーキテクチャをバイナリニューラルネットワークに適応させることで、精度向上が達成できるか？
• RQ5 複雑なファインチューニング手法と比較して、提案されたトレーニング戦略は、精度とモデル効率の観点でどのように差をつけるか？

主な発見

• 提案されたDenseNetE-21モデルは、ImageNetで58.6%のトップ-1精度を達成し、同サイズ（3.99 MB）のBiReal-Net-18と比較して2.2%の向上を示した。
• 高精度のダウンサンプリング層を用いることで、成長率128のバイナリDenseNet-21において、CIFAR-10の精度が2.7%向上（87.6%から90.3%）したが、モデルサイズは673 KBから1.49 MBに増加した。
• スケーリング要因や独自の勾配計算を一切用いずに、シンプルなトレーニング戦略のみで、ImageNetおよびCIFAR-10で最先端のパフォーマンスを達成した。
• 密な接続と高精度のダウンサンプリングを組み合わせたモデルは、特に大規模データセット（ImageNetなど）において、バイナリと高精度ネットワークの精度ギャップを縮小した。
• ABC-Netと比較して、ResNet-18およびResNet-34の両方で初期化からのトレーニング戦略が優れており、BNNの高精度を達成するには事前学習が必須ではないことを示した。
• 結果から、複雑なトレーニング技術よりも、密な接続や高精度のダウンサンプリングといったアーキテクチャ的革新が、BNNの精度向上にはるかに効果的であることが示された。