[論文レビュー] On the Convergence Properties of Non-Euclidean Extragradient Methods for Variational Inequalities with Generalized Monotone Operators

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|Nov 12, 2013

Optimization and Variational Analysis参考文献 22被引用数 4

ひとこと要約

本稿は、非単調または擬似単調な作用素を有する一般化単調変分不等式（GMVI）を解くために、非ユークリッド型反復勾配（N-EG）法を導入する。新たな残差に基づく終了基準と近似射影マッピングを用い、リーマン的勾配法の反復複雑度の上限をO(1/√k)として確立し、大規模な数値実験において既存手法を上回る性能を示す。

ABSTRACT

In this paper, we study a class of generalized monotone variational inequality (GMVI) problems whose operators are not necessarily monotone (e.g., pseudo-monotone). We present non-Euclidean extragradient (N-EG) methods for computing approximate strong solutions of these problems, and demonstrate how their iteration complexities depend on the global Lipschitz or Hölder continuity properties for their operators and the smoothness properties for the distance generating function used in the N-EG algorithms. We also introduce a variant of this algorithm by incorporating a simple line-search procedure to deal with problems with more general continuous operators. Numerical studies are conducted to illustrate the significant advantages of the developed algorithms over the existing ones for solving large-scale GMVI problems.

研究の動機と目的

• 作用素が必ずしも単調でない一般化単調変分不等式（GMVI）における反復勾配法の複雑度解析の不足に応える。
• 近似射影マッピングに関連する残差関数に基づく新たな終了基準を提案し、近似強解への収束を保証する。
• 作用素のグローバルリーマン連続性またはホルダー連続性、および距離生成関数の滑らかさの下で、N-EG法の反復複雑度を分析する。
• ホルダー連続性を満たさないより一般的な連続作用素に対応するため、N-EG法のラインサーチ変種を導入する。
• 大規模なGMVI問題における広範な数値実験を通じて、提案手法の実用的利点を示す。

提案手法

• 標準的なユークリッド射影の代わりに近似射影マッピングを用いる非ユークリッド型反復勾配（N-EG）法を提案し、構造的問題に対するより良い条件付けを実現する。
• 近似射影マッピングに関連する残差に基づく終了基準を定義し、小さな残差が近似強解の最適性ギャップを示すことを保証する。
• 作用素のリーマン連続性定数L、滑らかさパラメータΩ、およびアルゴリズムパラメータに依存する、O(1/√k)の反復複雑度を示す新規な複雑度解析により収束を確立する。
• ステップサイズを適応的に調整するラインサーチ手順を導入し、ホルダー連続性を満たさない連続作用素に対しても適用範囲を拡大する。
• pノルムやエントロピーなど、滑らかさが異なる距離生成関数を用いて非ユークリッド距離を定義し、問題構造に応じた最適化を可能にする。
• ベンチマークおよびランダムに生成されたGMVIインスタンスにおいて、ユークリッド型、pノルム型、エントロピー型のアルゴリズムを比較実装する。

実験結果

リサーチクエスチョン

• RQ1 作用素が単調でない場合でも、反復勾配法が一般化単調変分不等式（GMVI）に対して反復複雑度の上限を達成できるか？
• RQ2 pノルムやエントロピーなどの距離生成関数の選択が、N-EG法の収束速度と実用的性能に与える影響は何か？
• RQ3 近似強解の文脈において、残差関数と最適性ギャップの関係は何か？
• RQ4 N-EG法のラインサーチ変種は、ホルダー連続性を満たさない連続作用素に対しても収束保証を拡張できるか？
• RQ5 大規模なGMVI問題において、提案手法のN-EG法は標準的なユークリッド型反復勾配法と比べて実用的に優れているか？

主な発見

• 作用素がグローバルリーマン連続である場合、N-EG法はGMVI問題に対してO(1/√k)の反復複雑度を達成する。この上限は作用素のリーマン連続定数L、滑らかさパラメータΩ、およびアルゴリズムパラメータに依存する。
• 提案された残差に基づく終了基準により、小さな残差は最適性ギャップg(y) = max_{z∈X} ⟨F(y), y−z⟩が小さいことを保証し、近似強解の達成を保証する。
• 数値結果から、非ユークリッド型N-EG法は、特に大規模問題において、標準的なユークリッド型反復勾配法に比べ、CPU時間と射影呼び出し回数の両面で顕著に優れている。
• Sun問題およびHP Hard問題において、pノルムおよびエントロピー型N-EGバージョンは、ユークリッド型と比較して、射影呼び出し回数（np）とCPU時間の両方を著しく削減し、効率性が最大5〜10倍向上した。
• N-EG法のラインサーチ変種は、ホルダー連続性を満たさない作用素に対しても適切に処理でき、収束を維持するという点で、標準的な連続性仮定を超えた頑健性を示した。
• 大規模インスタンス（n=8,000）において、エントロピー型N-EG法は20.5k CPU秒、22,200回の射影呼び出しで収束したが、ユークリッド型法は1,700秒以上、10,761回の呼び出しを要し、明確な性能優位性が示された。