[論文レビュー] Linear and strong convergence of algorithms involving averaged nonexpansive operators

Heinz H. Bauschke, Dominikus Noll+1 more|arXiv (Cornell University)|Feb 21, 2014

Optimization and Variational Analysis参考文献 31被引用数 89

ひとこと要約

本稿では、ヒルベルト空間における平均的非拡大作用素を含む反復的アルゴリズムの線形収束および強収束について、検証可能な条件を確立する。境界付き線形正則性および内在的正則性の概念を導入することで、作用素およびその固定点集合がこれらの正則性条件を満たす場合、準周期的、周期的、および確率的アルゴリズムが線形収束または強収束することを証明する。応用例として、Borwein–Tam法（BTM）および周期的アンカーデュグレース・ラッハフォード法（CADRA）が含まれる。

ABSTRACT

We introduce regularity notions for averaged nonexpansive operators. Combined with regularity notions of their fixed point sets, we obtain linear and strong convergence results for quasicyclic, cyclic, and random iterations. New convergence results on the Borwein-Tam method (BTM) and on the cylically anchored Douglas-Rachford algorithm (CADRA) are also presented. Finally, we provide a numerical comparison of BTM, CADRA and the classical method of cyclic projections for solving convex feasibility problems.

研究の動機と目的

• 平均的非拡大作用素に基づく反復的アルゴリズムの線形収束および強収束の十分条件を確立すること。
• 収束解析の主要なツールとして、境界付き線形正則性および内在的正則性を導入・分析すること。
• Borwein–Tam法（BTM）および周期的アンカーデュグレース・ラッハフォード法（CADRA）に対する新たな収束結果を提供すること。
• 凸結合可能性問題を解く際のBTM、CADRA、および古典的周期的射影の性能を数値的に比較すること。
• 有限次元設定における理論的収束保証と実際のアルゴリズム性能の橋渡しをすること。

提案手法

• 平均的非拡大作用素およびその固定点集合に対する境界付き線形正則性を導入し、線形正則性を局所的挙動に一般化する。
• Fejér単調性および集合の族の正則性を用いて、反復的スキームの収束挙動を分析する。
• 平均的非拡大作用素の概念を、射影および分割法（Douglas–Rachford法や緩和法を含む）のモデル化に適用する。
• 個々の作用素の境界付き線形正則性と固定点集合の交差の正則性を組み合わせることで収束速度を導出する。
• 凸結合を用いて、準周期的、周期的、および確率的逐次反復を定式化する。
• ℝ¹⁰⁰における乱数で生成された凸集合を用いた数値実験により、理論的結果を検証する。BTM、CADRA、および周期的射影を比較する。

実験結果

リサーチクエスチョン

• RQ1 平均的非拡大作用素を含む準周期的アルゴリズムが線形収束する条件は何か？
• RQ2 周期的および確率的逐次アルゴリズムが強収束するのはいつか？ その保証をもたらす正則性条件は何か？
• RQ3 Borwein–Tam法および周期的アンカーデュグレース・ラッハフォード法（CADRA）に対して、どのような収束保証を確立できるか？
• RQ4 凸結合可能性問題において、BTM、CADRA、および周期的射影の収束速度は実際のところどのように比較できるか？
• RQ5 境界付き線形正則性および内在的正則性を用いて、分割法の収束結果を統一的かつ強化できるか？

主な発見

• 各作用素が境界付き線形正則性を満たし、固定点集合の族が境界付き線形正則性を満たす場合、準周期的平均的アルゴリズムは線形収束する。
• 各作用素が境界付き正則性を満たし、固定点集合の族が境界付き正則性を満たす場合、周期的アルゴリズムは強収束する。
• 各作用素が境界付き正則性を満たし、固定点集合の族が内在的境界付き正則性を満たす場合、確率的逐次アルゴリズムは強収束する。
• Borwein–Tam法は、関連する作用素および固定点集合が境界付き線形正則性を満たす場合、線形収束する。
• 有限次元において、CADRAはアンカーと集合の相対的内部が交差する、またはすべての集合が閉じた和を持つ部分空間であり、境界付き線形正則性を満たす場合、線形収束する。
• 数値実験の結果、CADRAは反復回数の観点で周期的射影およびBTMを上回り、特に中程度に不定な問題（m ≤ 30）において顕著な性能を示す。m ∈ [21,30]の範囲では98%のケースでCADRAが最速であった。