[論文レビュー] Linear convergence of the Randomized Sparse Kaczmarz Method

Frank Schöpfer, Dirk A. Lorenz|arXiv (Cornell University)|Oct 10, 2016

Sparse and Compressive Sensing Techniques被引用数 2

ひとこと要約

本稿は、線形方程式系のスパース解を回復することを目的とした、Kaczmarz法の変種であるランダム化スパースKaczmarz法について、期待値における線形収束を確立している。ランダム化Bregman射影を分割妥協性フレームワークに組み込み、強凸関数および区分的線形二次関数に対する誤差境界を拡張することで、スパース回復問題および核ノルム正則化を用いた低ランク行列最適化に対して線形収束を証明した。数値結果により、標準的および非ランダム化バージョンよりも優れた性能が確認された。

ABSTRACT

The randomized version of the Kaczmarz method for the solution of linear systems is known to converge linearly in expectation. In this work we extend this result and show that the recently proposed Randomized Sparse Kaczmarz method for recovery of sparse solutions, as well as many variants, also converges linearly in expectation. The result is achieved in the framework of split feasibility problems and their solution by randomized Bregman projections with respect to strongly convex functions. To obtain the expected convergence rates we prove extensions of error bounds for projections. The convergence result is shown to hold in more general settings involving smooth convex functions, piecewise linear-quadratic functions and also the regularized nuclear norm, which is used in the area of low rank matrix problems. Numerical experiments indicate that the Randomized Sparse Kaczmarz method provides advantages over both the non-randomized and the non-sparse Kaczmarz methods for the solution of over- and under-determined linear systems.

研究の動機と目的

• スパース線形方程式系の回復において、ランダム化スパースKaczmarz法の期待値における線形収束を確立すること。
• 標準的Kaczmarz法の収束解析を、ソフトスレッショーニングを用いたスパース性促進正則化にまで拡張すること。
• 特にスパースおよび低ランク解に対して、過小および過大決定系における本手法の有効性を示すこと。
• 滑らかでない凸関数、区分的線形二次関数、および正則化付き核ノルム問題を含む収束フレームワークを一般化すること。
• ランダム化がスパースKaczmarz反復において観察された数値的利点の理論的裏付けを提供すること。

提案手法

• 線形制約で定義される超平面へのランダム化Bregman射影を用い、行選択は行ノルムの二乗に比例する。
• 各射影ステップの後にソフトスレッショーニング（ソフトシャインジング）を適用してスパース性を強制し、正則化されたベースス・ピュアス問題の解をモデル化する。
• スパース回復問題の双対定式化を採用し、反復を双対上のランダム化座標勾配降下法として解釈する。
• 強凸関数および区分的線形二次関数に対する射影の拡張誤差境界を用いて収束を確立する。
• ベクトルのℓ1ノルムを行列の核ノルムに置き換え、特異値スレッショーニングを用いることで、低ランク行列回復に本フレームワークを適用する。
• 凸共役および劣微分理論を用いてBregman射影構造を分析し、収縮性質を導出する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化スパースKaczmarz法は、スパース線形系において期待値で線形収束するか？
• RQ2 ランダム化Bregman射影の収束フレームワークは、ℓ1や核ノルムのような滑らかでない非二次正則化子へ拡張可能か？
• RQ3 ランダム化戦略は、スパースKaczmarz法における周期的または決定的戦略と比較して収束速度にどのように影響するか？
• RQ4 条件数やスパースレベルなどの問題固有パrameterを用いて、本手法の収束速度はどのように記述できるか？
• RQ5 強凸関数および区分的線形二次関数を超える他の凸関数クラスに対しても、理論的収束結果を一般化可能か？

主な発見

• ランダム化スパースKaczmarz法は、目的関数を滑らかにしなくても、スパース回復問題において期待値で線形収束する。
• 収束速度は、強凸関数および区分的線形二次関数に適用可能な拡張誤差境界を用いて確立された。
• 本手法は、ベクトルのℓ1正則化問題にとどまらず、核ノルム正則化による低ランク行列回復に対しても線形収束を達成する。
• 数値実験により、非ランダム化スパースKaczmarz法および標準Kaczmarz法と比較して、収束速度およびスパース性の保持の両面で優れた性能を示した。
• 過大決定系においても、ランダム化スパースKaczmarz法は、ベースライン手法と比較して、残差の低減が速く、誤差が小さい。
• 収束速度の収縮定数は、問題固有の量（例：Lおよびγ）に依存しており、問題データからのみでは容易に計算できない。