[論文レビュー] RBCN: Rectified Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

Chunlei Liu, Wenrui Ding+6 more|arXiv (Cornell University)|Aug 21, 2019

Advanced Neural Network Applications参考文献 18被引用数 5

ひとこと要約

本稿では、1ビット深層畳み込みニューラルネットワーク（DCNN）の性能を向上させるために、生成対抗ネットワーク（GAN）を用いて、フル精度の対応モデルからの監視のもとでバイナリネットワークの学習をガイドする、新しいフレームワークであるリカチフィードバイナリコンボリューショナルネットワーク（RBCN）を提案する。エンドツーエンドの方法でフル精度のカーネルと特徴マップを同時に最適化することで、RBCNはImageNetおよびオブジェクト追跡ベンチマークで最先端の性能を達成し、XNOR-Net や Bi-Real Net よりもトップ1精度で最大7.9%、追跡精度で7%の向上を達成した。

ABSTRACT

Binarized convolutional neural networks (BCNNs) are widely used to improve memory and computation efficiency of deep convolutional neural networks (DCNNs) for mobile and AI chips based applications. However, current BCNNs are not able to fully explore their corresponding full-precision models, causing a significant performance gap between them. In this paper, we propose rectified binary convolutional networks (RBCNs), towards optimized BCNNs, by combining full-precision kernels and feature maps to rectify the binarization process in a unified framework. In particular, we use a GAN to train the 1-bit binary network with the guidance of its corresponding full-precision model, which significantly improves the performance of BCNNs. The rectified convolutional layers are generic and flexible, and can be easily incorporated into existing DCNNs such as WideResNets and ResNets. Extensive experiments demonstrate the superior performance of the proposed RBCNs over state-of-the-art BCNNs. In particular, our method shows strong generalization on the object tracking task.

研究の動機と目的

• 既存の手法において依然として顕著な性能差が残っている1ビットバイナリCNNとそのフル精度版との間の性能ギャップを埋めること。
• 重みや活性化関数だけでなく、フル精度モデルからのマルチケーブル情報を利用することで、1ビットDCNNの表現能力を向上させること。
• フル精度のカーネルと特徴マップをバイナリ化プロセスに統合する汎用的でエンドツーエンドの学習フレームワークを構築すること。
• 最適化されたバイナリネットワーク学習により、モバイルおよび組み込みAIアプリケーションに適した高性能で低複雑性のモデルを実現すること。

提案手法

• 1ビットバイナリネットワークを生成器とし、フル精度モデルが実際の特徴マップを提供するGANベースの学習フレームワークを提案する。
• 判別器は、フル精度モデルからの実際の特徴マップと、バイナリ生成器からの偽の特徴マップを区別するように学習させ、生成器がより現実的な表現を生成するように強制する。
• 生成器ネットワークは分類損失の最小化に加え、判別器を欺くことにも最適化され、より良い特徴分布の整合性が達成される。
• バイナリ化された特徴マップの精緻な近似を可能にするために、学習可能なスケーリング行列 C と C* を導入する。
• 学習段階ではフル精度のカーネルを用いてバイナリ化プロセスをガイドするが、推論時にはこれらを破棄し、バイナリ化された重みとスケーリング行列のみを保持する。
• 本フレームワークは汎用的であり、アーキテクチャの変更なしにResNet や WideResNet などのさまざまなアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 フル精度の特徴マップとカーネルを活用するGANベースのdistillationフレームワークは、1ビットDCNNの性能向上に有効に機能するか？
• RQ2 フル精度とバイナリ表現の共同最適化は、標準的な知識蒸留や重み初期化と比較して、より優れた一般化性能をもたらすか？
• RQ3 提案手法は、最小限の計算コストで画像分類およびオブジェクト追跡の両タスクで最先端の性能を達成できるか？
• RQ4 学習プロセスにフル精度の特徴マップを組み込むことで、1ビットネットワークの収束性とロバスト性にどのような影響を与えるか？

主な発見

• RBCNは、ResNet18を用いてImageNetで59.5%のトップ1精度を達成し、XNOR-Net（51.2%）より8.3ポイント、Bi-Real Net（56.4%）より3.1ポイントの向上を示した。
• ImageNet検証セットでは、PCNN より2.2%、ABC-Net より17.1%の向上を示し、異なるバイナリネットワーク設計においても強力な一般化能力を示した。
• オブジェクト追跡において、RB-SF（RBCNベースのSiamFC）はGOT-10Kで32.7%のAOを達成し、XNORより7.6%の向上を示し、フル精度SiamFCにほぼ並ぶ性能を達成した。
• フル精度のResNet18と比較して、メモリ使用量は11.10倍削減され、推論速度は10.86倍向上したが、高い精度を維持した。
• 学習曲線から、RBCNはXNORよりも収束が速く、最適化の安定性と効率性が向上していることが示された。
• 学習可能なスケーリング行列 C と C* による計算コストはほとんど無視できるため、実装に際して実用的である。