[論文レビュー] On block Gaussian sketching for iterative projections

Deanna Needell, Elizaveta Rebrova|arXiv (Cornell University)|May 21, 2019

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、大規模な過決定線形方程式系を解くために、ブロック・カツチャルツ更新とガウススケッチを組み合わせた、新しい反復射影アルゴリズムであるブロック・ガウス過程カツチャルツ法を導入し、その分析を行う。期待値における指数的収束性を確立し、ノイズに強い回復が正則化によって達成される特定の状況では、1反復あたりのコストが高めでも他の手法を上回ることを示している。

ABSTRACT

The Kaczmarz algorithm is one of the most popular methods for solving large-scale over-determined linear systems due to its simplicity and computational efficiency. This method can be viewed as a special instance of a more general class of sketch and project methods. Recently, a block Gaussian version was proposed that uses a block Gaussian sketch, enjoying the regularization properties of Gaussian sketching, combined with the acceleration of the block variants. Theoretical analysis was only provided for the non-block version of the Gaussian sketch method. Here, we provide theoretical guarantees for the block Gaussian Kaczmarz method, proving a number of convergence results showing convergence to the solution exponentially fast in expectation. On the flip side, with this theory and extensive experimental support, we observe that the numerical complexity of each iteration typically makes this method inferior to other iterative projection methods. We highlight only one setting in which it may be advantageous, namely when the regularizing effect is used to reduce variance in the iterates under certain noise models and convergence for some particular matrix constructions.

研究の動機と目的

• 非ブロック版のカツチャルツ法における理論的収束保証を、ブロック・ガウススケッチ変種に拡張すること。
• ブロック・ガウス過程カツチャルツ法の数値的複雑性と実用的性能を、既存の反復射影法と比較して分析すること。
• 正則化の性質が、1反復あたりの計算コストが高いために実用的利点をもたらす条件を同定すること。

提案手法

• 本手法は、システム行列の行ブロックによって定義される解部分空間へ、現在の反復点を射影するためにブロック・ガウススケッチを用いる。
• 複数の行を同時に処理することで、標準的なカツチャルツ法を一般化し、理論的に収束速度の向上を図る。
• 残差にランダムなガウス行列を用いてスケッチすることで、ノイズの多いデータ下でも反復点の安定性を高める正則化を導入する。
• 確率的議論と行列集中不等式を用いて、期待値における収束を分析する。
• 理論的分析は、1反復あたりの誤差の期待値の減少に焦点を当て、指数的収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 非ブロックケースと同様に、ブロック・ガウス過程カツチャルツ法は期待値において指数的速さで収束するか？
• RQ2 ブロック・ガウス過程カツチャルツ法において、収束速度と1反復あたりの計算コストのトレードオフはいかなるものか？
• RQ3 ガウススケッチの正則化効果が、標準的なカツチャルツ法よりも実用的利点をもたらす状況はどのようなものか？

主な発見

• ブロック・ガウス過程カツチャルツ法は、非ブロック版に拡張された理論的保証を満たし、期待値において指数的収束を達成する。
• 高速な収束にもかかわらず、1反復あたりの計算複雑性が高いため、他の反復射影法に比べて通常は非効率である。
• ガウススケッチの正則化効果により、特定のノイズモデル下で反復点の分散が低減され、安定性が向上する。
• この手法は、悪条件またはノイズの多い線形方程式系において、ノイズ耐性と分散低減が重要となる特定の状況でのみ優位性を示す。
• 広範な実験により理論的結果が裏付けられ、収束速度と計算コストのトレードオフが確認された。