[論文レビュー] The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities

Waïss Azizian, Franck Iutzeler+2 more|arXiv (Cornell University)|Jul 5, 2021

Statistical Mechanics and Entropy被引用数 5

ひとこと要約

本稿は、確率的変分不等式における楽観的ミラー降下（OMD）の最初の局所収束速度解析を確立し、Bregman散発に由来する局所幾何を定量化するためのLegendre指数を導入する。収束速度がこの指数に強く依存することを示し、ユークリッド、負のエントロピー、Tsallisエントロピーなどの異なるBregman関数に対して最適なステップサイズと収束速度を導出しており、幾何に応じて$ olimits\mathcal{O}(1/t)$から$ olimits\mathcal{O}(1/t^{0.1666})$までの速度が達成される。

ABSTRACT

In this paper, we analyze the local convergence rate of optimistic mirror descent methods in stochastic variational inequalities, a class of optimization problems with important applications to learning theory and machine learning. Our analysis reveals an intricate relation between the algorithm's rate of convergence and the local geometry induced by the method's underlying Bregman function. We quantify this relation by means of the Legendre exponent, a notion that we introduce to measure the growth rate of the Bregman divergence relative to the ambient norm near a solution. We show that this exponent determines both the optimal step-size policy of the algorithm and the optimal rates attained, explaining in this way the differences observed for some popular Bregman functions (Euclidean projection, negative entropy, fractional power, etc.).

研究の動機と目的

• 非単調性や複雑な幾何が原因で従来の収束速度が適用できない可能性があるため、確率的変分不等式（SVI）における楽観的ミラー降下（OMD）の局所的収束挙動を理解すること。
• 非単調または局所的強単調性を持つ状況において、OMDの収束速度を支配する主要な幾何的要因を同定すること。
• Bregman散発の成長率とアルゴリズムの性能の間の関係を形式化し、Legendre指数による新たな特徴付けを導出すること。
• この指数に依存する最適なステップサイズ方針と収束速度をOMDに対して導出し、代表的なBregman関数間の実験的差異を説明すること。
• 1次元SVIに対して、さまざまな距離生成関数（ユークリッド、負のエントロピー、Tsallis）を用いた数値実験を通じて理論的予測の妥当性を検証すること。

提案手法

• 解の近傍におけるBregman散発の成長率を、Bregman球とユークリッド球の体積比の対数比によって定義されるLegendre指数$\beta$として導入し、局所的成長率を測定する。
• 確率的ノイズとステップサイズ列を組み込んだ、Bregman散発$a_t = D(x^*, X_t)$を含む降下不等式を導出し、OMDの最終反復収束を分析する。
• 再帰的降下不等式$a_{t+1} \leq a_t - \frac{q}{(t+t_0)^\eta} a_t^{1+\alpha} + \frac{q'}{(t+t_0)^{2\eta}}$を用いて収束ダイナミクスをモデル化し、ここで$\alpha = \beta / (1 + \beta)$である。
• 補題A.11およびA.12を適用して$a_t$の減衰率を評価し、ステップサイズ指数$\eta$に応じた場合分けに基づき、$T$に関する漸近的収束速度を導出する。
• 降下項とノイズ項をバランスさせる最適なステップサイズ方針$\gamma_t = 1/t^\eta$を導出し、$\eta$はLegendre指数$\beta$に依存する。
• 1次元SVI（$\mathcal{K}=[0,\infty)$、$v(x)=x$）に対して、ユークリッド（$\beta=0$）、負のエントロピー（$\beta=0.5$）、Tsallis（$q=0.5$で$\beta=0.75$、$q=1.5$で$\beta=0.25$）の3つのBregman関数を用いた数値実験により理論的予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 Bregman散発の局所幾何、特にLegendre指数$\beta$が、確率的変分不等式における楽観的ミラー降下の収束速度にどのように影響を与えるか。
• RQ2 確率的推定による作用素のノイズが存在する状況で、降下とノイズをバランスさせるOMDの最適ステップサイズ方針は何か。
• RQ3 なぜ異なるBregman関数（例：ユークリッド、負のエントロピー、Tsallis）が実際には異なる収束速度を示すのか。これは一元的な幾何的パラメータで説明可能か。
• RQ4 非単調作用素や確率的ノイズが存在する状況でも、OMDの最終反復収束速度はLegendre指数に基づいて正確に特徴付け可能か。
• RQ5 理論的収束速度は、さまざまなBregman関数を用いた数値実験において、実験的観察とどの程度一致するか。

主な発見

• Legendre指数$\beta$は、Bregman散発の局所的成長率を環境ノルムに対して定量化する。$\beta=0$がユークリッド、$\beta=0.5$が負のエントロピー、$q=0.5$のTsallisエントロピーで$\beta=0.75$、$q=1.5$で$\beta=0.25$である。
• OMDの収束速度は$\beta=0$（ユークリッド）の場合$\mathcal{O}(1/t)$となり、標準的な結果と一致するが、$\beta$が増加するにつれて劣化する。
• $\beta=0.5$の場合、理論的収束速度は$\mathcal{O}(1/t^{0.5+\epsilon})$であり、観測された速度は$\mathcal{O}(1/t^{0.48})$であり、理論と一致している。
• $\beta=0.75$の場合、理論的収束速度は$\mathcal{O}(1/t^{0.1666})$であり、観測された速度は$\mathcal{O}(1/t^{0.13})$であり、導出された境界と一致している。
• $\beta=0.25$の場合、理論的収束速度は$\mathcal{O}(1/t^{0.75}}$であり、観測された速度は$\mathcal{O}(1/t^{0.71})$であり、理論と実験の間で強い一致が確認された。
• 最適なステップサイズ方針は$\gamma_t = 1/t^\eta$で、$\eta = \frac{1+\alpha}{1+2\alpha}$、ここで$\alpha = \beta / (1 + \beta)$であり、与えられた$\beta$に対して可能な限り良好な収束速度を保証する。