[論文レビュー] Golden Ratio Algorithms for Variational Inequalities

Yura Malitsky|arXiv (Cornell University)|Mar 23, 2018

Optimization and Variational Analysis参考文献 53被引用数 8

ひとこと要約

本稿では、黄金比を用いてステップサイズを動的に計算する、ラインサーチ不要の完全な適応型アルゴリズムを導入し、単調な変分不等式を解く。収束速度は、エルゴドリックな O(1/k) であり、誤差バインディング条件の下では R-線形収束を達成する。F がグローバルにリプシッツ連続でない場合でも、1反復あたり F の評価を1回、プロキシマル写像を1回のみ必要とする。

ABSTRACT

The paper presents a fully explicit algorithm for monotone variational inequalities. The method uses variable stepsizes that are computed using two previous iterates as an approximation of the local Lipschitz constant without running a linesearch. Thus, each iteration of the method requires only one evaluation of a monotone operator $F$ and a proximal mapping $g$. The operator $F$ need not be Lipschitz-continuous, which also makes the algorithm interesting in the area of composite minimization where one cannot use the descent lemma. The method exhibits an ergodic $O(1/k)$ convergence rate and $R$-linear rate, if $F, g$ satisfy the error bound condition. We discuss possible applications of the method to fixed point problems. We discuss possible applications of the method to fixed point problems as well as its different generalizations.

研究の動機と目的

• F がグローバルにリプシッツ連続でない状況下でも、ラインサーチ不要の適応型アルゴリズムを設計すること。
• F のグローバルリプシッツ定数の知識を必要とせず、収束を達成すること。
• ラインサーチを必要とせず、1反復あたり F の評価1回とプロキシマル写像1回のみで収束を保証することにより、効率性を向上させること。
• 誤差バインディング条件などの適切な条件下で、エルゴドリックな O(1/k) および R-線形収束速度を確立すること。
• 合成最小化問題や固定点問題への応用に拡張し、インertial拡張や確率的バージョンなどの一般化を検討すること。

提案手法

• 過去の反復の凸結合を用いて、F の局所的逆リプシッツ定数を近似し、ラインサーチを回避する。
• 黄金比 φ ≈ 1.618 を用いて外挿ステップを定義し、ステップサイズがゼロから離れて保たれることを保証する。
• 各反復で z^{k+1} = prox_{λg}(z̄^k - λF(z^k)) を計算する。ここで z̄^k は過去の反復の重み付き平均である。
• ステップサイズ λ は、黄金比と連続する反復間の差のノルムに基づき、適応的に選択される。
• この方法は、安定非拡大作用素と非拡大作用素の合成を含む固定点定式化から導出される。
• 収束解析は、F の単調性とプロキシマル作用素の性質に依存し、F に対してグローバルリプシッツ連続性の仮定は一切不要である。

実験結果

リサーチクエスチョン

• RQ1 F がグローバルにリプシッツ連続でない場合でも、過去の反復のみを用いてステップサイズを適応的に計算するラインサーチ不要のアルゴリズムを設計可能か？
• RQ2 F のグローバルリプシッツ定数を必要としないこのような適応型手法で達成可能な収束速度は何か？
• RQ3 外挿ステップにおける黄金比の使用が、アルゴリズムの安定性および収束に与える影響は何か？
• RQ4 合成最小化において勾配がリプシッツ連続でないような問題に、この手法を拡張可能か？
• RQ5 非単調または確率的設定下での、この手法の収束挙動にどのような意味があるか？

主な発見

• ラインサーチや F のグローバルリプシッツ連続性の仮定なしに、単調な変分不等式に対してエルゴドリック収束速度 O(1/k) を達成する。
• 誤差バインディング条件の下では、R-線形収束を示し、解に近づくと高速な局所収束を示す。
• 数値実験では、aGRAAL（適応的ゴールデンレシオアルゴリズム）が、次元 100 から 5000 の非単調問題を 99–100% の高成功率で効果的に解いている。
• 平均して、n=1000 の場合に 667 反復、n=5000 の場合に 1532 反復で ∥F(z^k)∥ ≤ 10^{-6} の精度に到達しており、スケーラビリティが確認された。
• F が非常に非線形な場合、例えば sin や exp のような超越関数を含むテスト問題 (79) においても、アルゴリズムはロバスト性を保っている。
• 1反復あたり F の評価1回とプロキシマル写像1回のみを必要とするため、計算が効率的であり、大規模問題に適している。