[論文レビュー] Quasinonexpansive Iterations on the Affine Hull of Orbits: From Mann's Mean Value Algorithm to Inertial Methods

Patrick L. Combettes, Lilian E. Glaudin|arXiv (Cornell University)|Apr 11, 2017

Optimization and Variational Analysis参考文献 24被引用数 15

ひとこと要約

本稿では、過去の反復点のアフィン包上へのクasi非拡大作用素を適用することにより、反復的アルゴリズムの統一的固定点フレームワークを導入する。これは、マンの平均値法、インertial法、多層無記憶スキームを一般化するものである。主な貢献は、広範な条件下で弱収束を保証する収束解析であり、単調包含問題および非滑らか最小化問題に対する新規アルゴリズムの構築を可能にする。

ABSTRACT

Fixed point iterations play a central role in the design and the analysis of a large number of optimization algorithms. We study a new iterative scheme in which the update is obtained by applying a composition of quasinonexpansive operators to a point in the affine hull of the orbit generated up to the current iterate. This investigation unifies several algorithmic constructs, including Mann's mean value method, inertial methods, and multi-layer memoryless methods. It also provides a framework for the development of new algorithms, such as those we propose for solving monotone inclusion and minimization problems.

研究の動機と目的

• 最適化における3つの主要なアルゴリズム枠組み（マンの平均値反復、インエラル法、多層無記憶スキーム）を統一すること。
• 過去の反復点の凸結合にクasi非拡大作用素を適用する一般化された反復スキームを構築すること。
• 実ヒルベルト空間上での固定点反復の文脈において、このフレームワークの収束保証を確立すること。
• 単調包含および非滑らか凸最小化問題を解くための新規アルゴリズムの構築の基盤を提供すること。
• ポリャクの勾配投影法などの既存結果を、より広範な収束理論に統合することで一般化すること。

提案手法

• 提案手法は、反復列 $x_n$ を $x_{n+1} = T_n \bar{x}_n$ により更新する。ここで $\bar{x}_n$ は $0 \leq j \leq n$ の過去の反復点 $x_j$ の凸結合であり、軌道のアフィン包上に位置する。
• 各作用素 $T_n$ はクasi非拡大的であり、固定点への距離が写像によって増加しないことを保証する。
• 2層構造 $\bar{x}_n = (1+\eta_n)x_n - \eta_n x_{n-1}$ を用いてインエラル項を組み込み、モーメンタムに類似した加速を実現する。
• 可変パラメータと誤差項を許容することで、前向き・後ろ向き分割法およびピースマン＝ラッチャー・スプリッティング法を一般化する。
• 平均化重み $\mu_{n,j}$、緩和パラメータ $\lambda_n$、インエラルパラメータ $\eta_n$ に対する条件の下で収束を分析し、固定点への弱収束を保証する。
• 平均化および確固たるクasi非拡大作用素の性質（近接作用素および部分勾配投影子の使用を含む）を活用して分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 マンの平均値法、インエラル法、多層無記憶スキームは、単一の反復フレームワークで統一可能か？
• RQ2 平均化重みおよび緩和パラメータにどのような条件を課すと、反復点が固定点に弱収束するか？
• RQ3 提案されたフレームワークを用いて、単調包含問題および非滑らか最小化問題のための新規アルゴリズムをどのように導出できるか？
• RQ4 過去の反復点のアフィン包を用いることで、標準的な無記憶スキームと比較して収束特性がどのように向上するか？
• RQ5 古典的結果（例：ポリャクの勾配投影法）は、この新しいフレームワーク内で回復可能かつ拡張可能か？

主な発見

• パラメータおよび関数の正則性に関する緩い条件の下で、反復点は固定点 $x \in \text{Argmin}_C f$ に弱収束 $x_n \rightharpoonup x$ を示す。
• $\lambda_n \equiv 1$ の場合、この手法はポリャクの古典的勾配投影法を特別な場合として回復し、既存結果との整合性を裏付ける。
• 可変緩和パラメータを許容し、凸集合上での制約付き最小化に拡張可能なため、インエラル近接点法を一般化する。
• 目的関数が強く凸でなくても、部分勾配投影子が確固たるクasi非拡大的であり、誤差項が消える限り、収束が保証される。
• 収束証明は、$\text{Id} - G$ がゼロで擬連続であるという性質に依存しており、これは超強制性または有限次元性の下で成り立つ。これにより固定点の特定が保証される。
• 強い凸性や勾配のリプシッツ連続性を仮定せず、非滑らかかつ非リプシッツな問題にまで適用範囲を広げられる。