[論文レビュー] How Do Adam and Training Strategies Help BNNs Optimization?

Zechun Liu, Zhiqiang Shen+4 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications被引用数 26

ひとこと要約

論文はBinary Neural Networks (BNN)においてAdamがSGDより優れている理由を分析し、同一アーキテクチャ上で単純な2段階トレーニング手法を用いた重み減衰ベースの訓練スキームを導入し、ImageNetトップ1精度を70.5%に向上させる。

ABSTRACT

The best performing Binary Neural Networks (BNNs) are usually attained using Adam optimization and its multi-step training variants. However, to the best of our knowledge, few studies explore the fundamental reasons why Adam is superior to other optimizers like SGD for BNN optimization or provide analytical explanations that support specific training strategies. To address this, in this paper we first investigate the trajectories of gradients and weights in BNNs during the training process. We show the regularization effect of second-order momentum in Adam is crucial to revitalize the weights that are dead due to the activation saturation in BNNs. We find that Adam, through its adaptive learning rate strategy, is better equipped to handle the rugged loss surface of BNNs and reaches a better optimum with higher generalization ability. Furthermore, we inspect the intriguing role of the real-valued weights in binary networks, and reveal the effect of weight decay on the stability and sluggishness of BNN optimization. Through extensive experiments and analysis, we derive a simple training scheme, building on existing Adam-based optimization, which achieves 70.5% top-1 accuracy on the ImageNet dataset using the same architecture as the state-of-the-art ReActNet while achieving 1.1% higher accuracy. Code and models are available at https://github.com/liuzechun/AdamBNN.

研究の動機と目的

• BNNにおけるAdamがSGDより一般化性能に優れる理由を調査する。
• 活性化飽和と二次モーメント正規化がBNN最適化に及ぼす影響を理解する。
• 実数潜在ウェイトとウェイトデケイがBNN訓練の安定性に果たす役割を検証する。
• アーキテクチャを変更せずに性能を向上させる実用的な訓練戦略を提案する。

提案手法

• 同じアーキテクチャを用いたBNNの大規模ImageNet訓練でAdamとSGDを比較する。
• 二値化下での最適化ダイナミクスを説明するために勾配とウェイトの軌跡を可視化する。
• 安定性と初期値依存性を定量化する指標（FF比とC2I比）を導入する。
• 実数潜在ウェイトのウェイト減衰が安定性と二値ウェイトの安定性に及ぼす影響を分析する。
• 2段階訓練スキームとウェイトデケイ戦略を提案し、最先端のBNNと比較して精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ImageNet上でBinary Neural Networksを最適化する際、なぜAdamはSGDより有効なのか。
• RQ2 活性化飽和と二次モーメント正規化はBNNの勾配フローとウェイト更新にどのような影響を与えるのか。
• RQ3 ウェイトデケイはBNNの安定性と初期値依存性にどのような影響を与え、訓練をどのように改善できるのか。

主な発見

• Adamは設定を問わずSGDより高いトップ1精度を達成（例: ある実験で61.49%対58.98%）。
• 活性化飽和はゼロまたは消失勾配を生み、Adamは適応学習率と二次モーメント正規化でこれを緩和する。
• 実数値潜在ウェイトは二値符号の信頼スコアとして機能する。AdamはSGDより裾野が重く、より安定した、よく訓練されたウェイト分布を生み出す。
• 実数潜在ウェイトのウェイトデケイは安定性と初期値依存性に影響を与え、慎重に調整された2段階訓練スキームによりImageNetで70.5%のトップ1を達成し、従来のBNNを上回る。