[論文レビュー] Proximal point algorithm, Douglas-Rachford algorithm and alternating projections: a case study

Heinz H. Bauschke, Minh N. Dao+2 more|arXiv (Cornell University)|Jan 26, 2015

Optimization and Variational Analysis参考文献 13被引用数 9

ひとこと要約

本稿は、ユークリッド平面上における凸線形計画問題において、近接点法（PPA）、ダグラス＝ラチャフォード法（DRA）、交互射影法（MAP）の収束速度に関する事例研究を提供する。ここで、1つの集合は実軸、もう1つの集合は凸関数の上図形（epigraph）である。DRAは、制約適合性の条件が満たされない場合でも、MAP よりも一貫して高速に収束することが示され、特にべき乗型や円形の上図形に対して、さまざまな凸関数における正確な漸近的収束速度が導出されている。

ABSTRACT

Many iterative methods for solving optimization or feasibility problems have been invented, and often convergence of the iterates to some solution is proven. Under favourable conditions, one might have additional bounds on the distance of the iterate to the solution leading thus to worst case estimates, i.e., how fast the algorithm must converge. Exact convergence estimates are typically hard to come by. In this paper, we consider the complementary problem of finding best case estimates, i.e., how slow the algorithm has to converge, and we also study exact asymptotic rates of convergence. Our investigation focuses on convex feasibility in the Euclidean plane, where one set is the real axis while the other is the epigraph of a convex function. This case study allows us to obtain various convergence rate results. We focus on the popular method of alternating projections and the Douglas-Rachford algorithm. These methods are connected to the proximal point algorithm which is also discussed. Our findings suggest that the Douglas-Rachford algorithm outperforms the method of alternating projections in the absence of constraint qualifications. Various examples illustrate the theory.

研究の動機と目的

• 反復的アルゴリズムの凸線形計画問題における最良ケースおよび正確な漸近的収束速度を調査すること。
• 幾何的条件の変化に応じて、ダグラス＝ラチャフォード法（DRA）と交互射影法（MAP）の性能を比較すること。
• 実軸と凸関数の上図形を含む2次元の事例研究において、DRA と MAP の正確な収束速度を導出すること。
• 制約適合性の条件が欠如している場合、特に非正則な交差幾何構造において、収束速度に与える影響を分析すること。
• |x|^p や R - √(R² - x²) といった明示的な関数を用いて、PPA、DRA、MAP の定量的かつ事例特化型の収束推定値を提供すること。

提案手法

• 研究は ℝ² における凸線形計画問題に焦点を当てており、A = ℝ × {0} および B = 凸関数 f の上図形として定式化され、解析的取り扱いが可能である。
• 近接点法（PPA）は近接作用素を用いて適用され、反復は x_{n+1} = P_f(x_n) で定義され、収束境界が導出される。
• MAP については、反復が a_{n+1} = P_A P_B(a_n) で与えられ、解集合への距離を含む不等式を用いて収束が分析される。
• DRA については、作用素 T = Id - P_A + P_B R_A を用い、z_{n+1} = T z_n および a_n = P_A z_n で定義され、固定点解析を用いて収束が研究される。
• f(x) = (1/p)|x|^p に対して、x_n = x_{n+1} + r_{n+1} x_{n+1}^{p-1} といった再帰的関係を用いて正確な漸近的収束速度が導出される。
• 理論的結果は、異なる p 値や R 値における収束速度のプロットを含む、数値例と比較によって検証される。

実験結果

リサーチクエスチョン

• RQ1 非正則な交差幾何構造を有する凸線形計画問題において、ダグラス＝ラチャフォード法と交互射影法の収束速度はどのように比較されるか？
• RQ2 制約集合に制約適合性の条件が欠如している場合、DRA と MAP の正確な漸近的収束速度は何か？
• RQ3 近接点法は、同じ設定において正確な収束推定値を導出可能か？ また、それらはどのように比較されるか？
• RQ4 凸関数の上図形の曲率、例えば f(x) = (1/p)|x|^p または f(x) = R - √(R² - x²) の場合、収束挙動はどのように変化するか？
• RQ5 DRA が MAP よりも収束速度で優位である条件は何か？ そして、その優位性は解析的に定量的に示せるか？

主な発見

• f(x) = (1/p)|x|^p で 1 < p < 2 の場合、DRA 列は収束次数 1/(p-1) の超線形収束を示し、MAP 列は収束速度 ~n^{-1/(2p-2)} の対数的収束を示す。
• p = 2 の場合、DRA 列は収束率 1/(1 + r_∞) の線形収束を示すが、MAP 列は依然として対数的収束を示し、DRA の優位性が確認される。
• p > 2 の場合、DRA と MAP は両方とも対数的収束を示すが、DRA はより速く収束し、DRA では x_n ~ (1/n)^{1/(p-2)}、MAP ではより遅い収束速度となる。
• 円形上図形 f(x) = R - √(R² - x²) の場合、DRA 列は収束率 1/(1 + r_∞/R) の線形収束を示し、MAP 列は x_n ~ R/√n の対数的収束を示す。
• DRA は、すべてのテストケースで MAP よりも一貫して優れている。特に、制約適合性の条件が欠如している場合や、集合間の角度が小さい場合に顕著である。
• 理論的分析により、DRA の収束は MAP の収束よりも厳密に速く、1 < p < 2 の場合、MAP 列と DRA 列の比は無限大に発散し、収束速度の差が明確に示される。