[論文レビュー] XNOR-Net++: Improved Binary Neural Networks

Adrian Bulat, Georgios Tzimiropoulos|arXiv (Cornell University)|Sep 30, 2019

Advanced Neural Network Applications参考文献 42被引用数 119

ひとこと要約

XNOR-Net++ は二値重みと活性化のための単一の識別的スケーリング因子を学習し、因子形状を探索して精度を向上させる。ResNet-18 で同じ予算内において ImageNet で最大6%の絶対的利得を達成。

ABSTRACT

This paper proposes an improved training algorithm for binary neural networks in which both weights and activations are binary numbers. A key but fairly overlooked feature of the current state-of-the-art method of XNOR-Net is the use of analytically calculated real-valued scaling factors for re-weighting the output of binary convolutions. We argue that analytic calculation of these factors is sub-optimal. Instead, in this work, we make the following contributions: (a) we propose to fuse the activation and weight scaling factors into a single one that is learned discriminatively via backpropagation. (b) More importantly, we explore several ways of constructing the shape of the scale factors while keeping the computational budget fixed. (c) We empirically measure the accuracy of our approximations and show that they are significantly more accurate than the analytically calculated one. (d) We show that our approach significantly outperforms XNOR-Net within the same computational budget when tested on the challenging task of ImageNet classification, offering up to 6\% accuracy gain.

研究の動機と目的

• ImageNet のような大規模データセット上で完全二値化ネットワークの精度向上を動機づける。
• 分析的スケーリングに代わる、二値畳込みの識別的に学習された結合スケーリング因子を提案する。
• Gamma のさまざまな形状を探索して、表現力と計算予算のバランスを取る。
• 同じ予算の下で、浅いネットワークから深いネットワークまでの性能向上を実証する。
• 従来の二値ネットワーク手法と比較して、精度と効率の向上を定量化する。

提案手法

• 活性化と重みのスケーリング因子を Gamma に統合し、バックプロパゲーションで学習する。
• テスト時のコストを固定したまま表現力を変える Gamma の4つの構成を提案する（ケース 1–4）。
• 識別的に学習された Gamma が解析的スケーリングより再構成誤差を低くすることを示す。
• AlexNet と ResNet-18 の両方を用いて、完全二値化レジームで ImageNet を評価する。
• prior XNOR-Net に対する理論的なスピードアップとストレージを比較する効率性分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 1つの識別的スケーリング因子 Gamma を学習することは、XNOR-Net における解析的に計算されたスケーリングを上回るか？
• RQ2 異なる Gamma の形状（ケース 1–4）は精度とパラメータ効率にどのような影響を与えるか？
• RQ3 二値化しても AlexNet と ResNet-18 のネットワークアーキテクチャに対して訓練アプローチが独立して適用できるか？
• RQ4 固定予算下で XNOR-Net と比較して XNOR-Net++ の実用的なスピードアップとメモリ利得はどれくらいか？

主な発見

手法	AlexNet Top-1	AlexNet Top-5	ResNet-18 Top-1	ResNet-18 Top-5
Baseline [Rastegari et al. 2016]	51.2%	73.2%	51.2%	73.2%
Case 1: alpha	55.5%	78.5%	56.0%	78.5%
Case 2: alpha (spatial)	56.1%	79.0%	57.0%	79.0%
Case 3: alpha⊗beta	56.7%	79.5%	57.1%	79.5%
Case 4: alpha⊗beta⊗gamma	57.1%	79.9%	57.1%	79.9%
Ours (summary)	46.9%	71.0%	57.1%	79.9%
Real valued	56.6%	80.2%	69.3%	89.2%

• XNOR-Net++ は ResNet-18 を用いた ImageNet で最先端の XNOR-Net に対して Top-1 精度を最大6%の絶対利益を達成。
• 単一の Gamma を学習することは、解析的なスケーリングを大幅に低減することにより再構成誤差を低く抑える。
• Gamma の形状のうち Case 4 (alpha⊗beta⊗gamma) が提案された構成の中で最も高い精度を提供。
• XNOR-Net++ を用いた二値化ネットワークは ImageNet で prior binary networks を上回り、効率性も競争力があり、メモリ節約も大幅（約64倍）。
• 提案された Gamma 構成は、解析的な基準に比べて経験的には低い L1 再構成誤差を示す。