[論文レビュー] Theoretical Analysis of Auto Rate-Tuning by Batch Normalization

Sanjeev Arora, Zhiyuan Li+1 more|arXiv (Cornell University)|Dec 10, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用数 37

ひとこと要約

この論文は、バッチ正規化（Batch Normalization, BN）が固定学習率（例：0.3）を用いた勾配降下法において、スケール不変パラメータに対して定常点への収束速度が $T^{-1/2}$ に達することを理論的に示し、調整された勾配降下法の最適速度と一致することを示す。さらに、確率的勾配降下法では $T^{-1/4}$ の収束速度を示し、手動でのチューニングなしに有効な学習率を内蔵的に適応できることを示している。

ABSTRACT

Batch Normalization (BN) has become a cornerstone of deep learning across diverse architectures, appearing to help optimization as well as generalization. While the idea makes intuitive sense, theoretical analysis of its effectiveness has been lacking. Here theoretical support is provided for one of its conjectured properties, namely, the ability to allow gradient descent to succeed with less tuning of learning rates. It is shown that even if we fix the learning rate of scale-invariant parameters (e.g., weights of each layer with BN) to a constant (say, $0.3$), gradient descent still approaches a stationary point (i.e., a solution where gradient is zero) in the rate of $T^{-1/2}$ in $T$ iterations, asymptotically matching the best bound for gradient descent with well-tuned learning rates. A similar result with convergence rate $T^{-1/4}$ is also shown for stochastic gradient descent.

研究の動機と目的

• 深層学習におけるバッチ正規化が手動での学習率チューニングを軽減できるという観察的特性を理論的に正当化すること。
• BNが固定で不適切な学習率を用いても勾配降下法が最適な速度で収束できるかどうかを分析すること。
• ニューラルネットワークにおけるスケール不変パラメータとスケール変動パラメータを明確に定義・分離すること。
• 固定学習率を用いたBN下での全バッチおよび確率的勾配降下法の収束速度を確立すること。
• BNの理論的予測を実験的に検証し、自動チューニング機能を有するか否かの比較を行うこと。

提案手法

• 理論的分析により、ネットワークパラメータをスケール不変（例：BN付きのレイヤー重み）とスケール変動（例：γ, β）のグループに分類する。
• 論文は、スケール不変パラメータに対して、固定学習率を用いた全バッチ勾配降下法が定常点への収束速度 $T^{-1/2}$ を達成することを証明している。
• 確率的勾配降下法では、収束速度が $T^{-1/4}$ であることが示され、調整済み学習率を用いた場合の最高水準の速度と一致する。
• この分析は、スケール不変パラメータのスケーリングに対して損失が不変であることに依存しており、その結果、勾配はパラメータの大きさに反比例してスケーリングされる。
• 実験では、BNあり・なしの条件で学習率を別個または統一して使用し、自動チューニング効果を分離する。
• 投影に基づく変種（設定2）は、適応的学習率行動を除去し、標準BN設定（設定1）と比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化は、手動での学習率チューニングなしに勾配降下法が最適な収束速度に達するのを可能にするか？
• RQ2 固定学習率を用いたスケール不変パラメータにおける勾配降下法の収束速度は、調整済み勾配降下法と一致するか？
• RQ3 BNの自動チューニング行動は、確率的勾配降下法における収束性と一般化性能にどのように影響するか？
• RQ4 スケール不変性は、BN下で学習率の内蔵的適応を可能にする役割を果たすか？
• RQ5 BNの自動チューニング行動は、固定学習率を用いた標準的なSGDと比較して、一般化性能をどの程度向上させるか？

主な発見

• スケール不変パラメータに対して固定学習率0.3を用いた勾配降下法は、定常点への収束速度が $T^{-1/2}$ に達し、調整済み勾配降下法の最適速度と一致する。
• 確率的勾配降下法では、収束速度が $T^{-1/4}$ であり、適切にチューニングされた学習率を用いた同様の手法における最高水準の速度と一致する。
• 実験により、BNを用いることで大きな固定学習率でも収束が達成される一方、BNなしまたは投影ベースの適応を用いた場合、同様の条件下では収束しないことが確認された。
• BN設定（設定1）では、すべての学習率でテスト精度が75％以上を維持しているが、非適応的設定（設定2）では顕著に低下しており、一般化性能の向上が示された。
• BNの自動チューニング行動により、広い範囲の学習率で安定した学習が可能になり、ハイパーパramータチューニングの必要性が低下する。
• 理論的分析は実験的にも裏付けられた：BNを用いることで大規模な学習率下でも性能を維持するが、BNなしまたは固定投影を用いたモデルは発散する。