[論文レビュー] The Forward-Backward-Forward Method from discrete and continuous perspective for pseudo-monotone variational inequalities in Hilbert Spaces

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Aug 24, 2018

Optimization and Variational Analysis被引用数 16

ひとこと要約

本稿は、ヒルバート空間における擬単調変分不等式に対して、ツェングの前向き・後向き・前向きアルゴリズムの収束を確立し、強い擬単調性のもとで線形収束を示した。また、動的システムの類似形を導入し、数値実験でコルペレヴィッチの拡張勾配法を上回る性能を示した。

ABSTRACT

Tseng's forward-backward-forward algorithm is a valuable alternative for Korpelevich's extragradient method when solving variational inequalities over a convex and closed set governed by monotone and Lipschitz continuous operators, as it requires in every step only one projection operation. However, it is well-known that Korpelevich's method is provable convergent and thus applicable when solving variational inequalities governed by a pseudo-monotone and Lipschitz continuous operator. In this paper we prove that Tseng's method converges also when it is applied to the solving of pseudo-monotone variational inequalities. In addition, we show that linear convergence is guaranteed under strong pseudo-monotonicity. We also associate a dynamical system to the pseudo-monotone variational inequality and carry out an asymptotic analysis for the generated trajectories. Numerical experiments show that Tseng's method outperforms Korplelevich's extragradient method when applied to the solving of pseudo-monotone variational inequalities and fractional programming problems.

研究の動機と目的

• モノトニックでない場合にも適用可能なツェングの前向き・後向き・前向きアルゴリズムの適用範囲を、単調性から擬単調性へ拡張すること。
• ヒルバート空間における擬単調変分不等式を解く際のツェング法の収束保証を確立すること。
• 擬単調変分不等式に関連する連続時系列の漸近的挙動を分析すること。
• ツェング法とコルペレヴィッチの拡張勾配法の性能を、擬単調問題および分数プログラミング問題において比較すること。
• ツェング法が擬単調設定において実用的で効率的な代替手法であるという理論的および数値的証拠を提供すること。

提案手法

• 本稿は、ヒルバート空間における擬単調かつリプシッツ連続な作用素によって支配される変分不等式に対するツェングの前向き・後向き・前向きアルゴリズムを分析する。
• 擬単調性およびリプシッツ連続性のもとで、アルゴリズムの収束を証明し、単調作用素に限らない有効性を拡張する。
• 強い擬単調性というより強い条件下で、線形収束を確立する。
• 変分不等式に関連する連続的動的システムを定義し、その軌道の漸近的挙動を分析する。
• 1回の反復あたり1回の射影を必要とする3段階の反復スキームに依存しており、計算コストを最小限に抑える。
• 擬単調変分不等式および分数プログラミング問題に対して、数値実験を実施し、性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ツェングの前向き・後向き・前向きアルゴリズムは、擬単調変分不等式に適用した場合に収束するか？
• RQ2 アルゴリズムが線形収束を達成する条件は何か？
• RQ3 擬単調変分不等式に関連する連続的動的システムを定義できるか？ その軌道の漸近的挙動はいかなるものか？
• RQ4 ツェング法は、擬単調問題を解く際、コルペレヴィッチの拡張勾配法と比較してどの程度優れているか？
• RQ5 分数プログラミング問題は擬単調変分不等式に再定式化可能であり、ツェング法はその問題に対して有効であるか？

主な発見

• ツェングの前向き・後向き・前向きアルゴリズムは、ヒルバート空間における擬単調変分不等式に対して収束し、単調な設定に限らない理論的有効性を拡張した。
• 作用素が強く擬単調である場合、線形収束が保証され、より強い仮定のもとでより速い収束レートを達成できる。
• 関連する連続的動的システムは、変分不等式の解へ漸近的に収束し、軌道の流れの安定性を確認した。
• 数値実験により、ツェング法が擬単調変分不等式を解く際、コルペレヴィッチの拡張勾配法を上回ることが確認された。
• 分数プログラミング問題に対しても、擬単調変分不等式に再定式化可能なことから、同様に優れた性能を示した。
• 1反復あたり1回の射影のみを必要とするため、大規模問題に対しても実用的で計算効率が保たれる。