[論文レビュー] Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution

Hyungjun Kim, Jihoon Park+2 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Neural Network Applications参考文献 37被引用数 5

ひとこと要約

この論文は、従来のバランスの取れた分布を好む仮定とは対照的に、非対称なバイナリ活性化分布がバイナリニューラルネットワーク（BNN）の精度を向上させることを提案する。バイナリ活性化における符号関数のしきい値をシフトすることで、XNOR-NetおよびBi-Real-Netにおいて計算コストをほとんど増加させることなく顕著な精度向上を達成し、勾配不一致の緩和を超えて表現能力が向上することを示している。

ABSTRACT

Binarization of neural network models is considered as one of the promising methods to deploy deep neural network models on resource-constrained environments such as mobile devices. However, Binary Neural Networks (BNNs) tend to suffer from severe accuracy degradation compared to the full-precision counterpart model. Several techniques were proposed to improve the accuracy of BNNs. One of the approaches is to balance the distribution of binary activations so that the amount of information in the binary activations becomes maximum. Based on extensive analysis, in stark contrast to previous work, we argue that unbalanced activation distribution can actually improve the accuracy of BNNs. We also show that adjusting the threshold values of binary activation functions results in the unbalanced distribution of the binary activation, which increases the accuracy of BNN models. Experimental results show that the accuracy of previous BNN models (e.g. XNOR-Net and Bi-Real-Net) can be improved by simply shifting the threshold values of binary activation functions without requiring any other modification.

研究の動機と目的

• 活性化分布の対称性がBNNの精度に与える影響を調査し、バランスの取れた分布が最適であるという仮定に挑戦すること。
• STEや重みスケーリングといった既存の技術にもかかわらず、BNNにおける精度の継続的低下という問題に取り組むこと。
• ReLUベースのネットワークで一般的に見られる非対称な活性化分布が、BNNの性能向上に寄与する可能性があるかどうかを検討すること。
• しきい値シフトが、単純かつ効果的な精度向上手法としての有効性を評価すること。
• 活性化分布の歪みが果たす役割を明確にするために、追加の活性化関数（例：PReLU）がBNNに与える影響を分析すること。

提案手法

• バイナリ活性化における符号関数のしきい値を0から学習可能な固定オフセットにシフトすることで、非対称なバイナリ出力を生成する。
• しきい値シフトされた符号関数を通過する勾配をバックプロパゲーションするために、修正されたストレートスラッシュ推定法（STE）を用いる。
• ResNet-20および他のアーキテクチャを用いた実験的分析により、しきい値シフトの有無による精度の差を比較する。
• 可変な負の勾配を持つLeakyReLUを用いて非対称分布をシミュレートし、しきい値シフトの効果を検証する。
• 追加の活性化関数（例：PReLU）の有無を比較することで、分布の歪みが果たす寄与を分離する。
• 活性化前分布の分析により、しきい値シフトとLeakyReLUが平均値および中央値に与える影響を可視化し、非対称性を誘発することを検証する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ活性化関数のしきい値のシフトがBNNの精度を向上させるか？
• RQ2 しきい値シフトによる性能向上は、結果として生じる非対称な活性化分布に起因するか？
• RQ3 PReLUなどの追加の活性化関数がBNNの精度を向上させる理由は何か？これは分布の歪みに起因するのだろうか？
• RQ4 しきい値シフトはバックプロパゲーションによって学習可能か、それともハイパーパrameterとして扱うのがより適切か？
• RQ5 BNNにおける活性化分布の歪度とモデル精度の相関関係は何か？

主な発見

• バイナリ活性化関数のしきい値を0から非ゼロ値にシフトすることで、アーキテクチャの変更なしにBNNのテスト精度が顕著に向上する。
• XNOR-NetおよびBi-Real-Netを含む複数のモデルにおいて一貫した精度向上が得られ、CIFAR-10では最大2.5%の向上が確認された。
• 性能向上は、非対称な活性化分布が生成されることに起因し、対称分布よりも情報保持能力が優れているためである。
• PReLUやLeakyReLUを含むモデルはもともと非対称な分布を示しており、これが精度向上の一部要因である。さらにしきい値シフトを施すと過剰に歪められ、性能が劣化する。
• しきい値シフトはバックプロパゲーションによる学習が不適切であり、固定値または手動で調整されたシフトが、エンドツーエンド学習によるしきい値の学習よりも優れた結果をもたらす。
• 非対称分布の効果は、全精度設定下でのReLU6とhardtanh関数の比較により検証され、バイナリ化が行われない状況でも歪度が精度向上に寄与することが示された。