[論文レビュー] Fluctuation-dissipation relations for stochastic gradient descent

Sho Yaida|arXiv (Cornell University)|Sep 28, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用数 23

ひとこと要約

本稿は、モデルパラメータ分布の定常性のみを仮定して、確率的勾配降下法（SGD）における正確なフラクチュエーション・ディスシペーション関係（FDR1 および FDR2）を導出する。これらの関係により、適応的学習率スケジューリングが可能となり、ヘシアンの大きさや非調和性といった損失関数のランドスケープ特性を直接推定できる。MNISTおよびCIFAR-10ベンチマークにおいて実証的に検証された。

ABSTRACT

The notion of the stationary equilibrium ensemble has played a central role in statistical mechanics. In machine learning as well, training serves as generalized equilibration that drives the probability distribution of model parameters toward stationarity. Here, we derive stationary fluctuation-dissipation relations that link measurable quantities and hyperparameters in the stochastic gradient descent algorithm. These relations hold exactly for any stationary state and can in particular be used to adaptively set training schedule. We can further use the relations to efficiently extract information pertaining to a loss-function landscape such as the magnitudes of its Hessian and anharmonicity. Our claims are empirically verified.

研究の動機と目的

• 非ガウス的ノイズや非凸的損失関数を含む一般な条件下で成立する、SGDにおける正確なフラクチュエーション・ディスシペーション関係を確立すること。
• 統計力学の原則に基づいた実用的で適応的な学習率スケジューリング手法を開発し、恣意的なハイパーパrameterチューニングを回避すること。
• 訓練ダイナミクスから直接、ヘシアンの強さや非調和性といった損失関数ランドスケープに関する定量的情報を抽出すること。
• 連続時間のストキャスティック微分方程式近似に起因する一貫性の欠如を避ける、SGDの理論的枠組みを提供すること。
• 導出された関係の実証的妥当性を、画像分類タスクにおける実世界の訓練シナリオで示すこと。

提案手法

• モデルパラメータの任意の定常分布に対して有効な、Kramers-Moyal展開に基づく定常フラクチュエーション・ディスシペーション定理（FDT）を導出する。
• FDR1を導入し、左および右の観測量の半期間平均を関連付けることで、定常性の評価と学習率の低下のトリガーを可能にする。
• FDR2を導入し、ノイズの共分散と勾配統計を関連付けることで、損失関数ランドスケープのヘシアンと非調和性を推定する。
• FDR1の飽和状態をモニタリングする適応的学習率スケジューラーを提案：左および右の観測量の比がしきい値内で1に近づいた段階で学習率を低下させる。
• フルバッチ計算を必要とせず、ミニバッチ勾配の観測量の半期間平均を用いて、オンライン学習においてFDR1およびFDR2を推定する。
• MLPをMNISTで、CNNをCIFAR-10で用いてフレームワークを検証し、事前に設定されたスケジュールおよびAMSGradと比較する。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布や凸性の仮定なしに、定常性のみを仮定した場合に、SGDにおけるフラクチュエーション・ディスシペーション関係を導出できるか？
• RQ2 FDR1は、訓練が定常状態に達したかどうかを信頼性高くリアルタイムで診断でき、自動的な学習率の低下を可能にするのか？
• RQ3 FDR2は、訓練中においても正確でデータ駆動型のヘシアンと非調和性の推定を可能にするのか？
• RQ4 提案された適応的スケジューリング手法は、標準的な事前設定スケジュールやAMSGradのような適応的最適化手法と比較して、収束性および精度においてどのように差がでるか？
• RQ5 深層学習に一般的な非ガウス的・非凸的設定において、導出された関係はどの程度有効に保たれるか？

主な発見

• MNISTのMLPにおいて、FDR1は小さなηに対して学習率ηに線形依存を示し、この領域では調和近似が有効であることを裏付ける。
• CIFAR-10のCNNでは、η ≈ 0.001で顕著な非調和性が観察され、二次損失表面からの強い逸脱が示された。
• FDR1の飽和に基づく適応的学習率スケジューラーは、100エポックごとに10倍の減衰を設定した事前スケジュールと同等のテスト精度を達成したが、より少ないハイパーパrameterを必要とした。
• MNISTおよびCIFAR-10の両方で、AMSGrad最適化手法よりも、最終的なテスト精度および収束安定性において優れた性能を示した。
• 導出されたフラクチュエーション・ディスシペーション関係は、定常性のもとで正確に成立し、非ガウス的ミニバッチノイズや非凸的損失関数に対しても頑健である。
• 実証的結果から、FDR2が複雑な実世界の深層学習環境でも、ヘシアンの大きさおよび非調和性の信頼性ある推定を可能にすることが確認された。