[論文レビュー] Quasi-potential as an implicit regularizer for the loss function in the stochastic gradient descent

Wenqing Hu, Zhanxing Zhu+2 more|arXiv (Cornell University)|Jan 18, 2019

Markov Chains and Monte Carlo Methods参考文献 26被引用数 9

ひとこと要約

本稿は、確率的勾配降下法（SGD）における準ポテンシャルを、新たな暗黙的正則化項として導入し、ノイズの共分散構造—特に非等方性—が、局所的最小値からの脱出を支配するポテンシャル関数を定義することで、SGDの長期的ダイナミクスを形作ることを示している。大偏差理論とハミルトニアン・ジャコビ偏微分方程式（PDE）を用いて、非等方的ノイズが脱出を加速させ、同じ元の損失値であっても、より平坦で一般化性能の高い最小値へ偏向させることを示している。

ABSTRACT

We interpret the variational inference of the Stochastic Gradient Descent (SGD) as minimizing a new potential function named the extit{quasi-potential}. We analytically construct the quasi-potential function in the case when the loss function is convex and admits only one global minimum point. We show in this case that the quasi-potential function is related to the noise covariance structure of SGD via a partial differential equation of Hamilton-Jacobi type. This relation helps us to show that anisotropic noise leads to faster escape than isotropic noise. We then consider the dynamics of SGD in the case when the loss function is non-convex and admits several different local minima. In this case, we demonstrate an example that shows how the noise covariance structure plays a role in "implicit regularization", a phenomenon in which SGD favors some particular local minimum points. This is done through the relation between the noise covariance structure and the quasi-potential function. Our analysis is based on Large Deviations Theory (LDT), and they are validated by numerical experiments.

研究の動機と目的

• SGDのノイズ共分散構造が深層学習における暗黙的正則化をどのように誘発するかを統一的な理論枠組みで説明すること。
• 新しいポテンシャル関数を用いて、SGDの確率的ダイナミクスとその定常分布の長期的挙動との間の関係を形式化すること。
• 非等方的ノイズが鋭い最小値からの脱出を速め、準ポテンシャルの地形を通じてより平坦で一般化性能の高い最小値を選択することを示すこと。
• 大偏差理論と変分法を用いて、ノイズ共分散行列とそれらがもたらす準ポテンシャルとの間の定量的関係を確立すること。
• 制御されたノイズ非等方性を持つマルチウェル型ポテンシャルランドスケープにおける数値実験を通じて、理論枠組みの妥当性を検証すること。

提案手法

• 局所的最小値の盆地から導かれる境界条件を持つハミルトニアン・ジャコビ偏微分方程式（PDE）の解として、グローバルな準ポテンシャル関数 φ^QP を定義する。
• ラグランジアンが損失ランドスケープとノイズ共分散行列 D(x) に明示的に依存する変分問題を通じて、局所的準ポテンシャルを構築する。
• 大偏差理論（LDT）を適用して、局所的最小値の盆地からの指数的に小さい脱出確率を推定し、脱出経路に沿った作用積分を通じて準ポテンシャルと結びつける。
• SGDのマルコフ性を用いて脱出確率と脱出時間の関係を関係づけ、より小さい脱出確率は盆地内での捕獲時間が長くなることを示す。
• 凸ケースではハミルトニアン・ジャコビPDEを解析的に解き、非凸例では数値的に解き、等方的ノイズと非等方的ノイズの下での挙動を比較する。
• 制御されたノイズ非等方性を持つマルチウェル型ポテンシャルランドスケープにおけるSGDダイナミクスの数値シミュレーションを通じて、枠組みを検証する。

実験結果

リサーチクエスチョン

• RQ1 SGDにおけるノイズ共分散構造は、長期的に見たときの局所的最小値の選択にどのように影響するか？
• RQ2 SGDで観察される暗黙的正則化を説明する新しいポテンシャル関数—すなわち準ポテンシャル—を構築できるか？
• RQ3 ノイズ共分散行列とそれらがもたらす準ポテンシャル地形との間の数学的関係は何か？
• RQ4 非等方的ノイズは、等方的ノイズと比較して鋭い局所的最小値からの脱出を速めるのか？その理由は何か？
• RQ5 準ポテンシャル枠組みは、元の損失値が等しい場合でも、SGDが特定の最小値を好む理由をどのように説明できるか？

主な発見

• 単一のグローバル最小値を持つ凸ケースでは、ノイズが等方的である場合、グローバル準ポテンシャル φ^QP は元の損失関数の定数倍に簡略化される。
• 非等方的ノイズは局所的最小値の盆地からの脱出を速めることが、数値実験で確認された。具体的には、μ = 1.9999 の場合、単位円板からの脱出が μ = 1 の場合よりも早く発生した。
• 数値結果から、非等方的ノイズ下では、SGDがノイズ分散がより高い方向、例えば例3.1における水平軸に沿って盆地から優先的に脱出することが示された。
• 2つの対称的最小値を持つ非凸ランドスケープにおいて、一方の盆地で非等方的ノイズ（μ₁ = 1.9999）、他方で等方的ノイズ（μ₂ = 1.0001）を適用した場合、SGDは等方的ノイズの盆地（O₂）を優先的に選択する傾向を示した。これはノイズ構造に起因する選択バイアスを示している。
• 準ポテンシャル枠組みにより、マルコフ連鎖としての局所的最小値間の遷移率が、ハミルトニアン・ジャコビPDEを通じてノイズ共分散構造に依存することを明らかにした。
• 作用積分が非等方的拡散行列 D(x) に依存する経路に沿って定義されるため、準ポテンシャル枠組みは、脱出時間と準ポテンシャルの間の定量的メカニズムを提供し、暗黙的正則化を明確にした。