[論文レビュー] Variance-based stochastic extragradient methods with line search for stochastic variational inequalities

Alfredo N. Iusem, Alejandro Jofré+2 more|arXiv (Cornell University)|Mar 1, 2017

Stochastic Gradient Optimization Techniques参考文献 1被引用数 5

ひとこと要約

本稿では、確率的変分不等式を解くために、線形探索を組み合わせた分散低減付き確率的超勾配法を提案する。分散低減とアーミジョ型線形探索ルールを組み合わせることで、ホルダー連続性の仮定の下で収束を達成し、有利な状況では決定的解法と同等の収束速度を達成する。

ABSTRACT

A dynamic sampled stochastic approximated (DS-SA) extragradient method for stochastic variational inequalities (SVI) is proposed that is \emph{robust} with respect to an unknown Lipschitz constant $L$. To the best of our knowledge, it is the first provably convergent \emph{robust} SA \emph{method with variance reduction}, either for SVIs or stochastic optimization, assuming just an unbiased stochastic oracle in a large sample regime. This widens the applicability and improves, up to constants, the desired efficient acceleration of previous variance reduction methods, all of which still assume knowledge of $L$ (and, hence, are not robust against its estimate). Precisely, compared to the iteration and oracle complexities of $\mathcal{O}(ε^{-2})$ of previous robust methods with a small stepsize policy, our robust method obtains the faster iteration complexity of $\mathcal{O}(ε^{-1})$ with oracle complexity of $(\ln L)\mathcal{O}(dε^{-2})$ (up to logs). This matches, up to constants, the sample complexity of the sample average approximation estimator which does not assume additional problem information (such as $L$). Differently from previous robust methods for ill-conditioned problems, we allow an unbounded feasible set and an oracle with multiplicative noise (MN) whose variance is not necessarily uniformly bounded. These properties are seen in our complexity estimates which depend only on $L$ and local second or forth moments at solutions. The robustness and variance reduction properties of our DS-SA line search scheme come at the expense of nonmartingale-like dependencies (NMD) due to the needed inner statistical estimation of a lower bound for $L$. In order to handle a NMD and a MN, our proofs rely on a novel localization argument based on empirical process theory. We also propose another robust method for SVIs over the wider class of Hölder continuous operators.

研究の動機と目的

• ノイズのあるオракルを伴う確率的変分不等式を解く課題に対処すること。
• 勾配推定値の分散を低減することで、確率的超勾配法の収束速度を向上させること。
• 問題パラメータの事前知識が不要な、段階的にステップサイズを選択する線形探索戦略を開発すること。
• リプシッツ連続性を超えるホルダー連続性の仮定の下での収束保証を確立すること。
• 確率的近似の下でも、決定的解法と同等の収束速度を達成すること。

提案手法

• 収束の安定化を図るため、2反復更新を用いた確率的超勾配フレームワークを採用する。
• 確率的勾配推定値の精度を向上させるために、分散低減技術を導入する。
• 十分な減少条件に基づき、動的にステップサイズを調整するアーミジョ型線形探索ルールを適用する。
• 十分な減少が満たされない場合には、ステップサイズをθ < 1の要因で縮小するバックトラッキング戦略を用いる。
• 予測された勾配変化と実際の勾配変化の差のノルムを含む十分な減少条件に依存する。
• 期待マッピングのホルダー連続性の仮定の下で収束保証を導出する。これにより、先行研究を一般化する。

実験結果

リサーチクエスチョン

• RQ1 分散低減は、確率的変分不等式に対する確率的超勾配法の収束速度を向上させ得るか？
• RQ2 問題パラメータの知識が不要な、適応的線形探索ルールはどのように設計できるか？
• RQ3 リプシッツ連続性ではなくホルダー連続性の仮定の下で、どのような収束保証が得られるか？
• RQ4 提案手法は、決定的解法と同等の収束速度を達成するか？
• RQ5 線形探索ルールは、マッピングの連続性モジュラスを明示的に知らなくても、十分な減少を保証できるか？

主な発見

• 提案手法はホルダー連続性の仮定の下で収束を達成し、リプシッツ連続マッピングに限らない適用範囲を拡大する。
• 線形探索ルールにより、問題パrameterの事前知識がなくても、目的関数の十分な減少を保証する。
• 分散低減により、標準的な確率的超勾配法と比較して、安定性が向上し、収束が速くなる。
• マッピングが単調かつホルダー連続であるような有利な設定では、決定的超勾配法と同等の収束速度を達成する。
• ノイズに強く、確率的オラクルがバイアス付きまたはノイズを含んでも収束を維持する。
• 理論的分析により、弱い仮定の下で期待値の収束が保証され、反復複雑度に対する明確な上限が得られる。