[論文レビュー] AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets

Zhijun Tu, Xinghao Chen+2 more|arXiv (Cornell University)|Aug 17, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

AdaBinは、固定された\{-1, +1\}の代わりに、重みと活性化の最適な実数値二値集合\{b₁, b₂\}を学習する、バイナリニューラルネットワーク（BNNs）のための新しい適応的二値量子化手法を提案する。重みに対しては統計的等化を、活性化に対しては勾配ベース最適化を用いる。このアプローチにより、ImageNetでResNet-18を用いて66.4％のTop-1精度、PASCAL VOCでSSD300を用いて69.4 mAPを達成し、最先端性能を実現した。

ABSTRACT

This paper studies the Binary Neural Networks (BNNs) in which weights and activations are both binarized into 1-bit values, thus greatly reducing the memory usage and computational complexity. Since the modern deep neural networks are of sophisticated design with complex architecture for the accuracy reason, the diversity on distributions of weights and activations is very high. Therefore, the conventional sign function cannot be well used for effectively binarizing full-precision values in BNNs. To this end, we present a simple yet effective approach called AdaBin to adaptively obtain the optimal binary sets $\{b_1, b_2\}$ ($b_1, b_2\in \mathbb{R}$) of weights and activations for each layer instead of a fixed set ( extit{i.e.}, $\{-1, +1\}$). In this way, the proposed method can better fit different distributions and increase the representation ability of binarized features. In practice, we use the center position and distance of 1-bit values to define a new binary quantization function. For the weights, we propose an equalization method to align the symmetrical center of binary distribution to real-valued distribution, and minimize the Kullback-Leibler divergence of them. Meanwhile, we introduce a gradient-based optimization method to get these two parameters for activations, which are jointly trained in an end-to-end manner. Experimental results on benchmark models and datasets demonstrate that the proposed AdaBin is able to achieve state-of-the-art performance. For instance, we obtain a 66.4% Top-1 accuracy on the ImageNet using ResNet-18 architecture, and a 69.4 mAP on PASCAL VOC using SSD300. The PyTorch code is available at \url{https://github.com/huawei-noah/Efficient-Computing/tree/master/BinaryNetworks/AdaBin} and the MindSpore code is available at \url{https://gitee.com/mindspore/models/tree/master/research/cv/AdaBin}.

研究の動機と目的

• 固定された二値集合\{-1, +1\}が多様な重みおよび活性化分布にうまく適合しないことが原因で生じるBNNの顕著な精度低下を是正すること。
• 複雑で非対称な分布を示す層間の特徴を二値化する際、符号関数の制限を克服すること。
• より良いフルプレシジョン分布に適合する最適な実数値二値集合\{b₁, b₂\}を学習することで、BNNの表現能力を向上させること。
• XNORおよびBitCount演算を維持することで、ハードウェア効率を保ちながら、重みおよび活性化の両方に対して適応的二値集合のエンドツーエンド学習を可能にすること。
• オブジェクト検出やセグメンテーションなどの複雑なビジョンタスクにおいて、BNNとフルプレシジョンネットワークの性能差を埋めること。

提案手法

• 1ビット値の中心位置と距離を用いた新しい二値量子化関数を定義し、固定された符号関数に置き換える。
• 重みに対しては、二値分布の対称的中心を実数値分布に一致させ、Kullback-Leibler発散（KLD）を最小化することで、中心および距離の解析的解を導出する等化法を適用する。
• 活性化に対しては、中心および距離の学習可能なパラメータを有する勾配ベース最適化法を導入し、符号関数で初期化し、エンドツーエンドで共同学習する。
• 学習可能なスケール係数\gamma⁺および\gamma⁻を有するMaxoutに類似した非線形関数を統合し、ビット幅を増加させずに活性化の表現能力を向上させる。
• 最終的な二値演算がXNORおよびBitCountのまま保たれるようにすることで、約64倍の高速化と約32倍のメモリ削減を実現する。
• KLD最小化と統計的整合性を用いて、学習された二値集合が元のフルプレシジョンテンソルの統計的性質を保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 固定された\{-1, +1\}の代わりに、適応的二値集合\{b₁, b₂\}を学習することで、BNNの表現能力が向上するか？
• RQ2 重みおよび活性化のための適応的中心および距離の学習が、ImageNet や PASCAL VOC などの複雑なデータセットにおけるBNNの性能に与える影響はいかほどか？
• RQ3 AdaBinは、オブジェクト検出および分類タスクにおけるBNNとフルプレシジョンモデルの精度差をどの程度埋めることができるか？
• RQ4 重みに対してKLD最小化と等化を、活性化に対して勾配ベース最適化を組み合わせることで、異なるネットワークアーキテクチャにわたり一貫した性能向上が得られるか？
• RQ5 提案手法は、XNORおよびBitCountを維持しながら、従来のBNNよりも顕著に精度を向上させることができるか？

主な発見

• AdaBinは、ResNet-18を用いてImageNetで66.4％のTop-1精度を達成し、以前の最先端BNNを大きく上回った。
• SSD300を用いたPASCAL VOCでは、AdaBinが69.4 mAPを達成し、XNOR-Netを13.8 mAP、Bi-Real Netを5.6 mAP上回った。
• アブレーションスタディの結果、AdaBinの重み等化と活性化最適化を組み合わせることで、CIFAR-10で通常のBNNから2％の精度向上が得られた。
• 学習可能な\gamma⁺および\gamma⁻を有するMaxout活性化は、それぞれ9.6％および9.7％の精度向上をもたらし、両係数を併用した場合が最良の結果（CIFAR-10で88.2％）を示した。
• ショートカット構造を備えたAdaBinは、TWN や DoReFa などの4ビット量子化手法を上回り、適応的二値化がマルチビットベースラインを凌駕できることを示した。
• 理論的な加速比60.85倍およびメモリ削減31倍を維持しており、効率的なハードウェアデプロイメントとの互換性が確認された。