[論文レビュー] Stochastic Hamiltonian Gradient Methods for Smooth Games

Nicolas Loizou, Hugo Berard+4 more|arXiv (Cornell University)|Jul 8, 2020

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

本稿は、スムーズなゲームにおける新しい不偏推定器を用いた確率的ハミルトニアン勾配降下法（SHGD）を導入し、強い単調性が仮定されない非制約的双線形および「十分に双線形」なゲームに対して、初めての非漸近的最終反復収束保証を提供する。さらに、最初の確率的バイアス補正付きハミルトニアン手法であるL-SVRHGを提案し、緩い条件下でも線形収束を達成する。

ABSTRACT

The success of adversarial formulations in machine learning has brought renewed motivation for smooth games. In this work, we focus on the class of stochastic Hamiltonian methods and provide the first convergence guarantees for certain classes of stochastic smooth games. We propose a novel unbiased estimator for the stochastic Hamiltonian gradient descent (SHGD) and highlight its benefits. Using tools from the optimization literature we show that SHGD converges linearly to the neighbourhood of a stationary point. To guarantee convergence to the exact solution, we analyze SHGD with a decreasing step-size and we also present the first stochastic variance reduced Hamiltonian method. Our results provide the first global non-asymptotic last-iterate convergence guarantees for the class of stochastic unconstrained bilinear games and for the more general class of stochastic games that satisfy a "sufficiently bilinear" condition, notably including some non-convex non-concave problems. We supplement our analysis with experiments on stochastic bilinear and sufficiently bilinear games, where our theory is shown to be tight, and on simple adversarial machine learning formulations.

研究の動機と目的

• 強い単調性が仮定されない場合の、スムーズなゲームにおける確率的ハミルトニアン手法の収束保証の欠如に対処する。
• SHGDおよびL-SVRHGの理論的収束解析を、最終反復収束に焦点を当てて確率的設定で提供する。
• 従来のSHGDの変種で用いられるバイアス付き推定器の制限を克服し、ハミルトニアン関数のための不偏勾配推定器を導入する。
• 「十分に双線形」な条件を用いて、非コンパクト領域および非凸非凹問題への収束理論を拡張する。
• 双線形、十分に双線形、敵対的学習ゲームの実験を通じて、理論のタイトさを示す。

提案手法

• スムーズなハミルトニアン勾配のための新規な不偏推定器を提案し、厳密な収束解析を可能にする。
• 標準的な最適化手法（例：リャプノフ関数）を適用して、定数ステップサイズを用いたSHGDの線形収束を証明する。
• 逐次的に減少するステップサイズスケジュールを導入し、正確な定常点への非線形収束を達成する。
• 制御変数技術を用いて勾配の分散を低減する、最初の確率的バイアス補正付きハミルトニアン手法L-SVRHGを設計する。
• 確率的ゲームを有限和問題として定式化する：$ g(x_1,x_2) = \frac{1}{n}\sum_{i=1}^n g_i(x_1,x_2) $、各$ g_i $はスムーズである。
• 「十分に双線形」な条件の下での収束を分析し、この条件は双線形ゲームを一般化し、一部の非単調問題を含む。

実験結果

リサーチクエスチョン

• RQ1 強い単調性の仮定なしに、確率的ハミルトニアン勾配降下法が最終反復収束を達成できるか？
• RQ2 定数ステップサイズおよび減少ステップサイズを用いたSHGDの、確率的スムーズなゲームにおける収束速度は何か？
• RQ3 バイアス補正が確率的ゲームにおけるハミルトニアン手法に効果的に適用可能か？
• RQ4 提案された不偏推定器は、バイアス付きバージョンと比較して、収束保証をどのように改善するか？
• RQ5 理論は実際の応用においてタイトに保たれるか、特に敵対的学習および双線形ゲームにおいて？

主な発見

• 定数ステップサイズを用いたSHGDは、「十分に双線形」な条件下で、定常点の近傍へ線形収束する。
• 減少ステップサイズを用いたSHGDは、正確な定常点への非線形収束を達成し、グローバル収束を保証する。
• L-SVRHGは、標準的なSVRGよりも低い反復コストで線形収束を達成し、1反復あたり$ 4 + p \cdot 2n $回の勾配計算を要する。
• 実験により、理論的収束速度がタイトであることが示され、双線形および十分に双線形なゲームにおいてL-SVRHGが最も高速な収束を示す。
• 補間設定（$ \xi_i(x^*) = 0 $）では、すべての手法が線形収束し、驚くべきことに、バイアス付きSHGDが信号の一貫性により他の手法を上回る。
• 提案された不偏推定器により、従来のバイアス付きバージョンが最終反復収束を保証できない状況でも収束保証が可能になる。