[論文レビュー] Accelerated Schemes For A Class of Variational Inequalities

Yunmei Chen, Guanghui Lan+1 more|arXiv (Cornell University)|Mar 17, 2014

Optimization and Variational Analysis参考文献 37被引用数 10

ひとこと要約

本稿では、決定的および確率的変分不等式（VIs）を解くために、ミラー・プロックスフレームワークにマルチステップ加速を統合した新しいアルゴリズム、加速ミラー・プロックス（AMP）法を提案する。本手法は、有界および無限大の実行可能集合の両方において最適な反復複雑性を達成し、Lipschitz定数や初期点から強い解までの距離といった問題固有のパラメータに依存する収束速度を示す。

ABSTRACT

We propose a novel method, namely the accelerated mirror-prox (AMP) method, for computing the weak solutions of a class of deterministic and stochastic monotone variational inequalities (VI). The main idea of this algorithm is to incorporate a multi-step acceleration scheme into the mirror-prox method. For both deterministic and stochastic VIs, the developed AMP method computes the weak solutions with optimal rate of convergence. In particular, if the monotone operator in VI consists of the gradient of a smooth function, the rate of convergence of the AMP method can be accelerated in terms of its dependence on the Lipschitz constant of the smooth function. For VIs with bounded feasible sets, the estimate of the rate of convergence of the AMP method depends on the diameter of the feasible set. For unbounded VIs, we adopt the modified gap function introduced by Monteiro and Svaiter for solving monotone inclusion, and demonstrate that the rate of convergence of the AMP method depends on the distance from the initial point to the set of strong solutions.

研究の動機と目的

• 勾配成分を含む滑らかさを持つ演算子の構造的性質を活用する、単調な変分不等式（VIs）を解くための効率的なアルゴリズムの開発を目的とする。
• 既存の手法がO(1/ε)の反復複雑性を達成するが、滑らかな最適化ではO(1/√ε)が最適であるというギャップを埋めるために、演算子の滑らかさを活用する。
• ノイズありまたは不正確な演算子評価を伴う確率的VIsに、加速手法の適用範囲を拡張し、不確実性下でも最適な収束を保証する。
• モンテイロとスヴァイターのギャップ関数に基づく修正された終了基準を導入することで、強い解までの距離を事前に知らなくても、無限大の実行可能集合に対しても収束を保証する。

提案手法

• マルチステップ加速スキームをミラー・プロックス法に組み込むことで、加速ミラー・プロックス（AMP）法を提案し、収束速度を向上させる。
• 適応的ステップサイズとモーメンタム型更新を用いたハイブリッドなプロキシマル・エクストラグラデントフレームワークを採用し、決定的および確率的設定の両方で収束を加速する。
• 無限大VIsのための修正されたギャップ関数を導入し、初期点から強い解の集合までの距離に基づく収束解析を可能にする。
• 反復点の重み付き平均化を再帰的更新ルールとして採用し、重みは双対ギャップの上界を最小化するように選択する。
• Jensenの不等式と強い凸性に類似した推定を用いて、反復回数にわたる期待双対ギャップをバインドする再帰的不等式を導出する。
• Lipschitz連続性および強単調性の仮定のもとで、双対ギャップの変化と解集合までの距離の進化を分析し、収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさを持つ成分を含む変分不等式に対して、ミラー・プロックス法にマルチステップ加速を効果的に統合できるか？
• RQ2 演算子に滑らかな勾配項が含まれる場合、決定的および確率的VIsを解く際の最適な反復複雑性は何か？
• RQ3 強い解の集合までの距離を事前に知らない状況下でも、無限大の実行可能集合に対して収束を保証できるか？
• RQ4 特に勾配評価回数の観点から、標準的なミラー・プロックス法と比較して計算コストを削減しつつ、最適な複雑性を維持できるか？
• RQ5 確率的設定下で、収束速度がLipschitz定数、実行可能集合の直径、ノイズ分散といった問題パラメータにどのように依存するか？

主な発見

• AMP法は、決定的および確率的VIsの両方において、滑らかな最適化で達成可能な最良の境界と一致する最適なO(1/ε)の反復複雑性を達成する。
• Fに∇Gを含む滑らかな成分を有するVIsでは、Lipschitz定数L_Gに有利に依存する収束速度を示し、非滑らか設定と比較してより速い収束を実現する。
• 有界な場合、収束速度は実行可能集合の直径Dに依存し、T反復後の双対ギャップはO(D²/T)の割合で減少する。
• 無限大の場合は、初期点から強い解の集合までの距離に依存し、この距離を事前に知らなくてもO(1/T)の複雑性を達成する。
• 標準的なミラー・プロックス法と比較して、1反復あたり1回の∇G評価を削減できるため、実用的かつ計算コストを低減する。
• 確率的VIsでは、ノイズが有界な条件下で最適な収束を達成し、期待双対ギャップがO(1/T)の割合で減少する。これは、ノイズが有界な確率的勾配が使用される場合に成立する。