[論文レビュー] Regularizing Activation Distribution for Training Binarized Deep Networks

Ruizhou Ding, Ting-Wu Chin+2 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Neural Network Applications参考文献 44被引用数 20

ひとこと要約

本稿では、1ビット重みと活性化を持つバイナリニューラルネットワーク（BNNs）における活性化分布を正則化するための分布損失を提案する。この手法により、エネルギー効率を損なわずに訓練安定性と精度が向上する。不適切な、飽和状態にある、または不十分に活性化されたチャネルを明示的にペナルティ化することで、多様な最適化手法やハイパーパrameter設定に対しても頑健な訓練が可能となり、1ビット重みと活性化でImageNetにおいて最先端の精度を達成する。

ABSTRACT

Binarized Neural Networks (BNNs) can significantly reduce the inference latency and energy consumption in resource-constrained devices due to their pure-logical computation and fewer memory accesses. However, training BNNs is difficult since the activation flow encounters degeneration, saturation, and gradient mismatch problems. Prior work alleviates these issues by increasing activation bits and adding floating-point scaling factors, thereby sacrificing BNN's energy efficiency. In this paper, we propose to use distribution loss to explicitly regularize the activation flow, and develop a framework to systematically formulate the loss. Our experiments show that the distribution loss can consistently improve the accuracy of BNNs without losing their energy benefits. Moreover, equipped with the proposed regularization, BNN training is shown to be robust to the selection of hyper-parameters including optimizer and learning rate.

研究の動機と目的

• 活性化の退化、飽和、勾配不一致のため、1ビット重みと活性化を持つBNNの訓練が困難であるという問題に取り組む。
• ネットワークの幅を広げる、または浮動小数点スケーリング要因を導入するといった従来の手法の限界を克服し、エネルギー効率を低下させない。
• 活性化分布を明示的に形状づけることで、訓練の不安定性を回避する微分可能で学習可能な正則化機構を開発する。
• 提案手法が純論理的計算と最小限のメモリフットプリントを維持したまま、BNNの精度を向上させることを実証する。

提案手法

• 望ましい、良好に動作する形状（例：ゼロを中心に、正負の比率がバランス取れている）となるような活性化分布から逸脱するのをペナルティとする分布損失 $ L_D $ を定式化する。
• 滑らかなヒストグラムに基づく推定を用いて、活性化分布の微分可能近似を導入し、逆誤差伝搬がこの損失を経由して可能になるようにする。
• ハイパーパrameter $ \\-lambda \$ を用いて、分布損失と標準的な分類損失を組み合わせ、正則化と精度のバランスを取る。
• 逆誤差伝搬中に損失を適用し、チャネルごとの活性化が退化（定常出力）、飽和（勾配ゼロ）、勾配不一致（劣化したSTE近似）を回避するように促進する。
• 訓練を安定化させるために、事前活性化バッチ正則化とReLUベースの構造を採用し、分布損失を活性化フローの正則化子として機能させる。
• 損失関数全体が微分可能であることを保証することで、エンドツーエンドの学習を可能にし、勾配が分布損失を経由してネットワーク重みへと流れることを実現する。

実験結果

リサーチクエスチョン

• RQ1 活性化分布の明示的正則化が、1ビット重みと活性化を持つBNNの訓練安定性と精度を向上させることができるか？
• RQ2 提案された分布損失が、バイナリ化されたネットワークにおける退化、飽和、勾配不一致を低減するか？
• RQ3 浮動小数点演算を導入せず、ネットワーク幅を拡大せずに、BNNの精度を向上させることができるか？
• RQ4 最適化手法、学習率、その他のハイパーパrameterの変動に対して、分布損失はどれほど頑健か？
• RQ5 この正則化効果は、VGGスタイルや残差ネットワークを含むさまざまなネットワークアーキテクチャに一般化されるか？

主な発見

• 提案された分布損失は、CIFAR-10におけるBNNの精度を顕著に向上させ、$ \\-lambda = 0.2 $ の条件下で90.12%のトップ1精度を達成した。これはベースラインBNNの87.39%を上回る。
• ImageNetでは、1ビット重みと活性化で44.1%のトップ1精度を達成し、先行研究の最先端手法を上回る。
• 分布損失は活性化の退化を低減する：ヒストグラムの分析から、定常出力を示すチャネルが減少し、正の比率がよりバランスが取れていることが示された。
• 分布損失を用いて訓練されたBNNは、最適化手法の選択に対して頑健である。Adam、SGD with momentum、Nesterov、RMSpropのすべてで一貫した改善が得られた。
• $ \\-lambda \$ の値が0.2から2000の広い範囲にわたり、精度が常にベースラインを上回り続けることから、正則化強度に敏感でないことが示された。
• 分布損失は初期学習段階で急速に減少するため、活性化分布の早期安定化が確認され、収束速度の向上とより良い一般化性能と相関していることが示された。