[論文レビュー] On block Gaussian sketching for the Kaczmarz method

Deanna Needell, Elizaveta Rebrova|arXiv (Cornell University)|May 21, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用数 5

ひとこと要約

本稿は、大規模線形方程式系を解くためのブロックガウス・カツマルツ（BGK）法の最初の理論的収束解析を提示しており、一貫性のあるおよび一貫性のない両方のシステムにおいて期待値として指数的収束を示している。この手法は、ブロック行をランダムなガウススケッチで投影することで、ノイズが多い状況での分散低減を実現しているが、反面、反復ごとの計算コストが高くなる。

ABSTRACT

The Kaczmarz algorithm is one of the most popular methods for solving large-scale over-determined linear systems due to its simplicity and computational efficiency. This method can be viewed as a special instance of a more general class of sketch and project methods. Recently, a block Gaussian version was proposed that uses a block Gaussian sketch, enjoying the regularization properties of Gaussian sketching, combined with the acceleration of the block variants. Theoretical analysis was only provided for the non-block version of the Gaussian sketch method. Here, we provide theoretical guarantees for the block Gaussian Kaczmarz method, proving a number of convergence results showing convergence to the solution exponentially fast in expectation. On the flip side, with this theory and extensive experimental support, we observe that the numerical complexity of each iteration typically makes this method inferior to other iterative projection methods. We highlight only one setting in which it may be advantageous, namely when the regularizing effect is used to reduce variance in the iterates under certain noise models and convergence for some particular matrix constructions.

研究の動機と目的

• ブロック・カツマルツ反復とガウススケッチを組み合わせたブロックガウス・カツマルツ（BGK）法の理論的収束保証を提供すること。
• スケッチサイズが収束速度および安定性に与える影響を、特にノイズが存在する状況で分析すること。
• 収束速度および数値的ロバスト性の観点から、BGKを標準的なブロック・カツマルツ法およびスケッチなしの変種と比較すること。
• ガウススケッチが非ガウス的代替手法よりも実用的な利点をもたらす条件を同定すること。
• 一貫性のないシステムに対する理論的バウンディングを確立し、計算負荷を低減するための有限スケッチ集合の検討を行うこと。

提案手法

• BGK法は、行列 $ A $ の行ブロックを用いた反復的射影を実行し、各ブロックが事前にランダムなガウススケッチ行列で前処理される。
• 各反復で、スケッチされたブロック $ A_ au $ のムーア・ペネローズ逆行列を計算して解を更新する：$ x_{k+1} = x_k + (A_ au)^ op (A_ au A_ au^ op)^{-1} (b_ au - A_ au x_k) $。
• スケッチ行列は独立同一分布のガウス分布に従い、特に右辺がノイズを含む状況でも誤差項の正則化と滑らか化を実現する。
• 理論的分析は、特異値の性質と $ A $ のフロベニウスノルムを用いて、誤差の期待値の減少をバウンディングすることで行われる。
• 有限のガウススケッチ集合の提案と分析を行い、無限のランダムスケッチと高確率で同等の性能を達成できることを示した。
• 一貫性のないシステムへの拡張が行われ、期待誤差の減衰と分散制御のための収束バウンディングが導出された。

実験結果

リサーチクエスチョン

• RQ1 一貫性のある線形方程式系において、ブロックガウス・カツマルツ法は期待値として指数的収束を達成するか？
• RQ2 スケッチサイズ $ s $ は収束速度にどのように影響し、高速収束のための最適な $ s $ は何か？
• RQ3 どのような状況で、ガウススケッチはスケッチなしの標準的ブロック・カツマルツ法よりも実用的な利点を提供するか？
• RQ4 有限のガウススケッチ集合は、無限のランダムスケッチと同等の収束速度を達成できるか？
• RQ5 一貫性のないシステムにおいて、BGKは反復の誤差の分散低減という観点で、どのように性能を発揮するか？

主な発見

• 一貫性のあるシステムでは、BGK法が期待値として指数的収束を達成し、収束率は $ rac{ ext{tr}(A^T A)}{ ext{tr}(A^T A)} $ および $ rac{1}{ ext{tr}(A^T A)} $ に依存する。$ s=1 $ の場合に既知の結果が回復される。
• 一貫性のあるシステムでは、ブロックサイズ $ s = n $ であれば1反復で収束するため、実行可能であれば計算的に最適となる。
• 一貫性のないシステムでは、BGK法はノイズの強い状況（特にスパイクノイズ）において、スケッチなしのブロック・カツマルツ法よりも誤差の軌道における分散を顕著に低減する。
• 理論的収束保証があるにもかかわらず、数値実験ではガウススケッチの反復コストが高いため、通常は標準的ブロック・カツマルツ法に劣ることが示された。
• 高確率で同じ収束速度を維持するためには、$ O(m) $ 個の有限のガウススケッチ集合で十分である。これにより、繰り返しのランダムサンプリングの必要性が低減される。
• BGK法の唯一の実用的利点は、ノイズのあるシステムにおいてガウススケッチが誤差のスパイクをなめらかにすることで、非スケッチ変種よりもロバスト性が向上することに起因する。