[論文レビュー] Optimal rates of convergence of matrices with applications

Heinz H. Bauschke, Yunier Bello-Cruz+3 more|arXiv (Cornell University)|Jul 2, 2014

Matrix Theory and Algorithms参考文献 24被引用数 10

ひとこと要約

本稿では、行列のべき乗が最適な線形速度で収束するための完全な特徴付けを提供し、最適収束が、第二位の絶対値を持つ固有値がすべて半単純（semi-simple）であるときにかつそのときに限り成立することを示している。これらの結果は、部分空間の交わりへの射影に用いられる緩和付き交互射影法および一般化された Douglas-Rachford 法に応用され、部分的な緩和が最も速い収束速度をもたらすことが明らかになった。数値実験により、Friedrichs 角と中央値としての反復回数を用いてその妥当性が確認された。

ABSTRACT

We present a systematic study on the linear convergence rates of the powers of (real or complex) matrices. We derive a characterization when the optimal convergence rate is attained. This characterization is given in terms of semi-simpleness of all eigenvalues having the second-largest modulus after 1. We also provide applications of our general results to analyze the optimal convergence rates for several relaxed alternating projection methods and the generalized Douglas-Rachford splitting methods for finding the projection on the intersection of two subspaces. Numerical experiments confirm our convergence analysis.

研究の動機と目的

• 行列のべき乗が最適な線形速度で収束するための必要十分条件を特定すること。
• 部分空間に対する緩和付き交互射影法および一般化された Douglas-Rachford 法の収束挙動を分析すること。
• 実際の忤合で最も速い収束を達成するアルゴリズムの変種を同定すること。
• 反復的射影法におけるスペクトル的性質と収束速度の関係を理論的に裏付けられること。

提案手法

• 第二位の絶対値を持つ固有値の半単純性に基づいて、最適収束速度の特徴付けを導出する。
• スペクトル半径の公式と行列ノルム解析を用いて収束速度の上限を導出する。
• 2つの部分空間に対する緩和付き交互射影法および一般化された Douglas-Rachford 法に理論を適用する。
• 交互射影法における収束速度の向上を図るため、非線形加速写像を導入する。
• 部分空間間の Friedrichs 角および主角度を幾何的パラメータとして用い、収束挙動を定量化する。
• Julia と Gnuplot を用いた数値実験により、さまざまな角度における反復回数を比較する。

実験結果

リサーチクエスチョン

• RQ1 行列のべき乗が最適な線形速度で収束する条件は何か？
• RQ2 支配的でない固有値の半単純性は、反復的射影法の収束速度にどのように影響するか？
• RQ3 緩和付き交互射影法または一般化された Douglas-Rachford 法のどの変種が最も速い収束を達成するか？
• RQ4 Friedrichs 角は、これらの手法の収束速度を決定づける役割を果たすか？
• RQ5 交互射影法の収束を加速するための非線形写像を設計できるか？

主な発見

• 行列のべき乗が最適な線形収束速度を達成するのは、第二位の絶対値を持つすべての固有値が半単純であるとき、かつそのときに限り成立する。
• 部分的な緩和付き交互射影法およびその非線形変種が、調査された手法の中で最小の収束速度を示した。
• 数値的結果から、Friedrichs 角が 0.02 を超えると $ B_T $ が最も速く、非常に小さな角度では DR が最良であることが判明した。
• $ W_1 $ において、$ B_T $ の中央値は 1139 回で、MAP の 4058.5 よりも著しく低い。これは優れた性能を示している。
• $ B_T $ の平均反復回数は全カテゴリで 6002.5 回であったが、標準偏差が 19437.1 と非常に高いため、性能にばらつきがあることが示された。
• 一般化された Douglas-Rachford 法（DR）は、すべてのカテゴリで MAP を上回り、$ W_1 $ では平均 1395.2 回の反復で、MAP の 12683 回を下回った。