[論文レビュー] Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems

Maria Chiara Angelini, Angelo Giorgio Cavaliere+2 more|arXiv (Cornell University)|Sep 11, 2023

Stochastic Gradient Optimization TechniquesComputer Science参考文献 52被引用数 3

ひとこと要約

本稿は、離散的最適化および推論問題における確率的勾配降下法（SGD）に類似した緩和法と、Glauberダイナミクス（メトロポリス・モンテカルロ）の間で定量的同等性を確立する。SGDは詳細釣合の法則を満たさないが、ミニバッチサイズがメトロポリスサンプリングにおける温度に対応する場合、両アルゴリズムは同一のダイナミクスを示す。これにより、モンテカルロ理論を応用し、困難な推論タスクにおける信号回復を向上させるためにSGDのミニバッチサイズを最適化できる。

ABSTRACT

Is Stochastic Gradient Descent (SGD) substantially different from Metropolis Monte Carlo dynamics? This is a fundamental question at the time of understanding the most used training algorithm in the field of Machine Learning, but it received no answer until now. Here we show that in discrete optimization and inference problems, the dynamics of an SGD-like algorithm resemble very closely that of Metropolis Monte Carlo with a properly chosen temperature, which depends on the mini-batch size. This quantitative matching holds both at equilibrium and in the out-of-equilibrium regime, despite the two algorithms having fundamental differences (e.g.\ SGD does not satisfy detailed balance). Such equivalence allows us to use results about performances and limits of Monte Carlo algorithms to optimize the mini-batch size in the SGD-like algorithm and make it efficient at recovering the signal in hard inference problems.

研究の動機と目的

• SGDが離散的最適化および推論問題においてメトロポリス・モンテカルロダイナミクスと本質的に異なるかどうかという根本的な未解決問題を解明すること。
• SGDにおけるミニバッチサイズとメトロポリスダイナミクスにおける温度の間の定量的マッピングを確立すること。詳細釣合の法則に反するSGDであっても成立する。
• マルコフ連鎖モンテカルロ（MCMC）および統計力学の強力な理論枠組みを活用し、困難な推論問題におけるSGD性能の分析と最適化を行うこと。
• 離散的問題において、SGDに類似したアルゴリズムとGlauberダイナミクスのダイナミクスが、平衡状態および非平衡状態の両方で区別できないことを示すこと。
• SGDの成功の背後にある物理的解釈を提示し、ミニバッチサイズによる確率的性質が温度に類似した制御に寄与することを示すこと。

提案手法

• 連続的SGDとは異なり、離散的問題に特化した新規なSGDに類似したアルゴリズムを提案。Glauberダイナミクスの確率的性質を模倣することを目的とする。
• SGDにおけるミニバッチサイズBとメトロポリスダイナミクスにおける温度Tとの間のマッピングを定義。両アルゴリズムが同一の平衡状態および非平衡状態の挙動を示すようにする。
• ランダムグラフにおけるプラント5色塗り分け問題を用いた数値シミュレーションにより、両アルゴリズムの核生成時間、エネルギー緩和、相転移を比較。
• フラクチュエーション・ディスシペーション関係および動的平均場理論を用いて、SGDの有効温度を導出し、ミニバッチサイズと学習率とを関連付ける。
• SGDにおける詳細釣合の法則の違反を分析し、この根本的な相違にもかかわらず、有効温度マッピングが安定に保たれることを示す。
• 接続性cをlog(N)でスケーリングすることで、信号回復の臨界閾値c_GD(N) ≈ A log(N)を特定。熱力学的極限において発散することを示す。

Figure 1: Intensive energy reached by the SGD-like algorithm with three different values of $B$ as a function of time, for a single system of size $N=10^{4}$ and mean connectivity $c=19$ . For $B=0.86$ the algorithm ends in a paramagnetic state, for $B=0.95$ it ends in some spurious glassy states, w

実験結果

リサーチクエスチョン

• RQ1 SGDに類似した緩和法とGlauberダイナミクスの間には、離散的最適化および推論問題において本質的な差があるか？
• RQ2 SGDにおけるミニバッチサイズを、メトロポリス・モンテカルロにおける温度パラメータにマッピングできるか。両アルゴリズムが同一のダイナミクスを生成するか？
• RQ3 SGDが詳細釣合の法則に反するため、メトロポリスダイナミクスと同等の統計的挙動を示せないのか？
• RQ4 SGDに類似したアルゴリズムがプラントされた解を回復できなくなる臨界接続性c_GD(N)は何か。システムサイズNに従ってどのようにスケーリングされるか？
• RQ5 フェーズ転移や緩和時間といったモンテカルロ理論の結果を、困難な推論タスクにおけるSGDのミニバッチサイズ最適化に応用できるか？

主な発見

• 詳細釣合の法則に反すにもかかわらず、SGDに類似した緩和法とGlauberダイナミクスのダイナミクスは、平衡状態および非平衡状態の両方で定量的に同等である。
• SGDにおけるミニバッチサイズBは、メトロポリスダイナミクスにおける温度Tに対応し、両アルゴリズムが同一の核生成時間分布およびプラトーエネルギーを示す。
• プラント5色塗り分け問題における信号回復の臨界接続性c_GD(N)は、システムサイズNに対して対数的にスケーリングされ、c_GD(N) ≈ A log(N)（A = O(1)）であり、熱力学的極限で発散する。
• c < 18の場合、推論タスクは不可能となり、両アルゴリズムはランダムなインスタンス上で最適化を実行し、温度/Bに応じて常磁性状態またはガラス状態に入る。
• フラクチュエーション・ディスシペーション関係を用いて導出したSGDの有効温度は、ミニバッチサイズと学習率に依存し、非ガウス分布のノイズや観察されるLévy飛行の挙動を説明する。
• 有効T(B)関係のc依存性は、接続性の増加に伴い可能なスピン配置sとuの数が増加するため生じ、BとTの平均的マッピングがわずかに変化する。

Figure 2: Average energy $\overline{e}$ mediated over 280 samples for three different sizes $N=10^{3},10^{4},10^{5}$ (from left to right), for MC and SGD-like algorithms. Left : In MC at a temperature $T=0.49$ and SGD-like algorithm with a mini-batch parameter $B=0.92$ the energy relaxes in a very s