[論文レビュー] Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle

Fedor Stonyakin, Alexander Gasnikov+3 more|arXiv (Cornell University)|Jun 13, 2018

Optimization and Variational Analysis参考文献 19被引用数 15

ひとこと要約

本稿では、 Hölder連続性を持つ作用素を伴う単調な変分不等式に対する、普遍的な一般化されたミラー・プロックス法を提案する。この手法は、制御可能でない誤差と制御可能な誤差を考慮する不正確なオракルモデルを用いる。この方法は、 Hölder指数や定数の事前知識がなくても最適な収束複雑度を達成し、強い単調性やサドルポイント問題へも理論的保証とともに拡張可能である。

ABSTRACT

We introduce an inexact oracle model for variational inequalities (VI) with monotone operator, propose a numerical method which solves such VI's and analyze its convergence rate. As a particular case, we consider VI's with Hölder-continuous operator and show that our algorithm is universal. This means that without knowing the Hölder parameter $ν$ and Hölder constant $L_ν$ it has the best possible complexity for this class of VI's, namely our algorithm has complexity $O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} ight)^{\frac{2}{1+ν}}R^2 ight)$, where $R$ is the size of the feasible set and $\varepsilon$ is the desired accuracy of the solution. We also consider the case of VI's with strongly monotone operator and generalize our method for VI's with inexact oracle and our universal method for this class of problems. Finally, we show, how our method can be applied to convex-concave saddle point problems with Hölder-continuous partial subgradients.

研究の動機と目的

• 未知の Hölder滑らかさに適応するが、Hölder指数や定数の知識を必要としない、単調な変分不等式のための普遍的な数値的手法の開発を目的とする。
• 変分不等式における不正確なオラクルの概念を形式化・分析し、制御可能な誤差と制御不能な誤差を区別することを目的とする。
• Hölder連続な部分勾配を伴う強い単調作用素およびサドルポイント問題に、一般化されたミラー・プロックス法を拡張することを目的とする。
• 提案手法の標準的および強い単調性設定におけるタイトな複雑度バウンドを確立することを目的とする。
• Hölder連続作用素を不正確なオラクルとしてモデル化することで、普遍最適化手法と変分不等式ソルバーの間のギャップを埋めることを目的とする。

提案手法

• 単調な変分不等式における、新たな不正確なオラクルモデルを導入し、作用素が制御可能な誤差 $\delta_c$ と制御不能な誤差 $\delta_u$ を伴って近似されるものとする。
• Bregman射影と適応的ステップサイズを用いることで、不正確なオラクルを扱い、収束を維持する一般化されたミラー・プロックス法を提案する。
• Bregman散発と作用素の Hölder連続性を用いて、解集合へのプロキシマル距離を分析することで収束レートを導出する。
• $L_\nu$ や $\nu$ の知識が不要であることを保証する自己適応的ラインサーチ戦略を用いて複雑度バウンドを確立し、普遍性を実現する。
• 部分勾配を不正確なオラクルとしてモデル化することで、凸-凹サドルポイント問題にこの手法を適用し、$\delta_u = 4\delta$ および $\delta_c = 0$ を想定する。
• 強い単調作用素へアルゴリズムを一般化し、複雑度バウンドにおける精度 $\varepsilon$ に対する対数的依存性を達成する。

実験結果

リサーチクエスチョン

• RQ1 未知の Hölder滑らかさに適応するが、Hölder指数や定数の知識を必要としない、単調な変分不等式のための普遍的アルゴリズムを設計可能か？
• RQ2 変分不等式における不正確なオラクルモデルを形式化し、制御可能な誤差と制御不能な誤差を区別できるか？
• RQ3 Hölder連続作用素を伴う単調な変分不等式の最適収束複雑度は何か？ そして、滑らかさパラメータの事前知識がなくても達成可能か？
• RQ4 一般化されたミラー・プロックス法は、不正確なオラクルを伴う強い単調な変分不等式およびサドルポイント問題へ拡張可能か？
• RQ5 普遍最適化と変分不等式のための不正確なオラクル手法との間の関係を形式化し、活用可能か？

主な発見

• 提案手法は、Hölder連続作用素を伴う単調な変分不等式に対して、$L_\nu$ や $\nu$ の知識が不要であるにもかかわらず、最適な最悪ケース複雑度 $O\left(\inf_{\nu\in[0,1]}\left(\frac{L_\nu}{\varepsilon}\right)^{\frac{2}{1+\nu}}R^{2}\right)$ を達成する。
• 強い単調作用素に対しては、複雑度が $O\left(\inf_{\nu\in[0,1]}\left(\frac{L_\nu}{\mu}\right)^{\frac{2}{1+\nu}}\frac{1}{\varepsilon^{\frac{1-\nu}{1+\nu}}}\cdot\log_{2}\frac{R^{2}}{\varepsilon}\right)$ に抑えられ、精度に対数的依存性を達成する。
• この手法は普遍的である：問題の実際の滑らかさレベルに自動的に適応し、このクラスの問題に対する理論的下界に一致する。
• 不正確なオラクルモデルは、ノイズや近似勾配を伴うサドルポイント問題から生じる現実の不確実性を的確に捉えている。
• Hölder連続な部分勾配を伴う凸-凹サドルポイント問題に、このアルゴリズムを適用可能であり、誤差項 $O(\delta_u + \delta_c)$ を伴い、双対性ギャップの $\varepsilon$-精度を達成する。
• 理論的枠組みは、不正確な相対的滑らかさおよび強い凸性へも拡張可能であり、後続の研究 [60] で示されているように、より広範な問題クラスへも応用可能である。