[論文レビュー] The rate of linear convergence of the Douglas-Rachford algorithm for subspaces is the cosine of the Friedrichs angle

Heinz H. Bauschke, Yunier Bello-Cruz+3 more|arXiv (Cornell University)|Sep 18, 2013

Optimization and Variational Analysis参考文献 21被引用数 20

ひとこと要約

この論文は、ヒルベルト空間内の2つの部分空間の交差を求めるためのドーキング＝ラッハフォード法が、初期点の交差への射影に線形収束することを確立しており、収束速度は部分空間間のフレーリングス角の余弦に等しい。解析は一般の（無限次元を含む）ヒルベルト空間で行われ、鋭い収束速度が得られ、極限が最良近似解として特定されている。

ABSTRACT

The Douglas-Rachford splitting algorithm is a classical optimization method that has found many applications. When specialized to two normal cone operators, it yields an algorithm for finding a point in the intersection of two convex sets. This method for solving feasibility problems has attracted a lot of attention due to its good performance even in nonconvex settings. In this paper, we consider the Douglas-Rachford algorithm for finding a point in the intersection of two subspaces. We prove that the method converges strongly to the projection of the starting point onto the intersection. Moreover, if the sum of the two subspaces is closed, then the convergence is linear with the rate being the cosine of the Friedrichs angle between the subspaces. Our results improve upon existing results in three ways: First, we identify the location of the limit and thus reveal the method as a best approximation algorithm; second, we quantify the rate of convergence, and third, we carry out our analysis in general (possibly infinite-dimensional) Hilbert space. We also provide various examples as well as a comparison with the classical method of alternating projections.

研究の動機と目的

• ドーキング＝ラッハフォード反復が2つの部分空間に適用された際の正確な極限を同定すること。
• 部分空間の場合におけるアルゴリズムの線形収束速度を定量化すること。
• 有限次元空間を超えて一般のヒルベルト空間への解析を拡張すること。
• 収束速度の観点から、ドーキング＝ラッハフォード法と交互射影法を比較すること。
• フレーリングス角を主要パrameterとして用いて鋭い収束推定を確立すること。

提案手法

• 解析では、ヒルベルト空間における固く非拡大写像と射影理論が用いられる。
• ドーキング＝ラッハフォード作用素は、$ T = P_V(2P_U - \text{Id}) + \text{Id} - P_U $ として定義され、ここで $ P_U $ および $ P_V $ は部分空間 $ U $ および $ V $ への直交射影である。
• 列 $ (x_n) $ の極限が、$ x_0 $ に対する $ U \cap V $ 内の最良近似である $ P_{U\cap V}x_0 $ であることが示される。
• 収束速度はフレーリングス角 $ \theta $ を用いて導出され、その速度は $ \cos\theta $ に等しく、この上限が鋭いことが証明されている。
• 証明は、固く非拡大写像の性質およびドーキング＝ラッハフォード作用素のスペクトル解析に依拠している。
• 解析は一般のヒルベルト空間（無限次元を含む）で行われ、数値実験および反例によって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 ドーキング＝ラッハフォード反復が2つの部分空間に適用された際、収束する正確な極限点は何か？
• RQ2 部分空間の場合におけるドーキング＝ラッハフォードアルゴリズムの線形収束の正確な速度は何か？
• RQ3 収束速度は部分空間間の幾何的関係にどのように依存するか？
• RQ4 収束速度は鋭いか？また、フレーリングス角を用いて表現できるか？
• RQ5 ドーキング＝ラッハフォード法は、収束速度の観点から、交互射影法と比べてどのように異なるか？

主な発見

• ドーキング＝ラッハフォード反復は、部分空間の交差内における初期点の最良近似である $ P_{U\cap V}x_0 $ に線形収束する。
• 線形収束速度は正確に $ \cos\theta $ に等しく、ここで $ \theta $ は部分空間間のフレーリングス角であり、この速度は鋭い。
• 収束解析は一般の（無限次元を含む）ヒルベルト空間で成り立つが、有限次元に限らない。
• 部分空間の和が閉じている場合、収束は線形で速度 $ \cos\theta $ を示し、この条件は線形収束のための必要十分条件である。
• 数値実験により、フレーリングス角が小さい場合（すなわち $ \theta < 0.1 $）にドーキング＝ラッハフォード法が交互射影法を上回ることが示された。
• シャドウ列における「リップル」挙動が観察され、角度が小さいほど顕著になるが、これは全体の収束速度に影響しない。