[論文レビュー] Quantitative Strong Convergence for the Hybrid Steepest Descent Method

Daniel Körnlein|arXiv (Cornell University)|Oct 3, 2016

Optimization and Variational Analysis参考文献 13被引用数 3

ひとこと要約

本稿は、ヒルバート空間における変分不等式問題を解くためのハイブリッドステイpestデセント法（HSDM）の最初の定量的分析を提供する。証明抽出技術を用いて、安定性率と複雑度の上限を抽出する。単一および有限個の非拡張写像の族に対する強い収束を明示的なレートで確立し、収束の一様性に関する有効な上限を提示する。

ABSTRACT

We provide new complexity information for the convergence of the Hybrid Steepest Descent Method for solving the Variational Inequality Problem for a strict contraction on Hilbert space over a closed convex set C given either as the fixed point set of a single nonexpansive mapping or the intersection of the fixed point sets of a finite family of nonexpansive mappings. More precisely, we give metastability rates in the sense of Tao for those cases. The results in this paper were extracted from a proof due to Yamada using proof-mining techniques, and provide a thorough quantitative analysis of the Hybrid Steepest Descent Method.

研究の動機と目的

• ヒルバート空間における変分不等式問題（VIP）を解くためのハイブリッドステイpestデセント法（HSDM）の定量的分析を提供すること。
• Taoの意味における安定性率（定量的収束情報）を、厳密な収縮と強い単調性の仮定の下でHSDMから抽出すること。
• 2つの状況を分析すること：解集合が単一の非拡張写像の不動点集合である場合と、有限個の非拡張写像の不動点集合の共通部分である場合。
• 証明理論的技術を用いて山田の定性的収束証明を変換し、HSDMの反復回数に関する有効で一様な上限を提供することにより、HSDMの複雑度情報を得ること。
• 解集合への閉形式の射影を必要としない明示的かつ計算可能な収束レートを提供することにより、HSDMの適用範囲を拡張すること。

提案手法

• 本手法は、山田によるHSDMの強い収束証明に証明抽出技術を適用し、非一様収束を一様な安定性上限に変換する。
• 非拡張写像 $ T $ と $ \kappa $-リプシッツ連続かつ $ \eta $-強く単調な写像 $ \mathcal{F} $ を満たす反復列 $ u_{n+1} := T(u_n) - \lambda_{n+1}\mu\mathcal{F}(T(u_n)) $ に対して、明示的な安定性率を導出する。
• 有限族の場合、反復は $ u_{n+1} := T_{[n+1]}(u_n) - \lambda_{n+1}\mu\mathcal{F}(T_{[n+1]}(u_n)) $ で表され、$ [n] = n \mod N $ であり、和分可能性およびステップサイズの消失条件の下で収束を分析する。
• 解析は、非拡張写像の不動点性質と $ \mathcal{F} $ の強い単調性に依存し、誤差項を明示的に制御する。
• 得られた上限は、$ \varepsilon $、$ \kappa $、$ \eta $、および解集合への初期距離に依存する関数として表現され、計算可能な安定性モジュラスが得られる。
• 任意の $ \varepsilon > 0 $ に対して、すべての $ m,n \geq N $ に対して $ \|u_n - u_m\| < \varepsilon $ となる一様な $ N $ が存在し、$ N $ は問題パラメータから有効に計算可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間における変分不等式を解く際のハイブリッドステイpestデセント法の定量的収束レートは何か？
• RQ2 証明抽出技術を用いて、HSDMの強い収束証明から安定性率をどのように抽出できるか？
• RQ3 解集合の性質に応じて、$ \varepsilon $-精度に到達するまでの反復回数に有効な上限は何か？
• RQ4 単一非拡張写像の場合と有限個の共通不動点集合の場合の収束レートにはどのような違いがあるか？
• RQ5 解集合への射影が明示的に必要とされない状況でも、HSDMを定量的に解析できるか？

主な発見

• 本稿は、ハイブリッドステイpestデセント法に対して、最初の明示的な安定性率を提供する。任意の $ \varepsilon > 0 $ に対して、$ \|u_n - u_m\| < \varepsilon $ がすべての $ m,n \geq N $ で成り立つような $ N $ が存在し、$ N $ は問題パラメータから計算可能である。
• 単一非拡張写像の場合、条件 $ \lambda_n \to 0 $、$ \sum \lambda_n = \infty $、および $ \frac{\lambda_n - \lambda_{n+1}}{\lambda_n^2} \to 0 $ の下で収束レートが定量的に評価され、計算可能な安定性モジュラスが得られる。
• 有限族の場合（$ N \geq 1 $）、$ \lambda_n = 1/n $ を許容でき、再び安定性モジュラスを用いた定量的収束レートが得られ、従来の結果を改善する。
• 解析により、解集合への射影が利用可能でない場合でも、HSDMが強い収束を示し、有効な上限を備えることが示された。非拡張写像のみに依存する。
• 収束レートは、強い単調性定数 $ \eta $、リプシッツ定数 $ \kappa $、および初期解への距離に明示的に依存し、$ \varepsilon $、$ \tau = 1 - \sqrt{1 - \mu(2\eta - \mu\kappa^2)} $、初期軌道の直径に明示的な依存関係を示す。
• 本稿は、HSDMが弱い仮定のもとで頑健であることを確立する。解集合が有界でなくても、初期距離が固定点に対してやや制限されれば、収束レートを導出可能である。