[論文レビュー] Greedy Block Gauss-Seidel Methods for Solving Large Linear Least Squares Problem

Hanyu Li, Yanjun Zhang|arXiv (Cornell University)|Apr 6, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用数 6

ひとこと要約

本稿では、大規模な線形最小二乗問題を解くために、貪欲なブロック Gauss-Seidel (GBGS) 法と、疑似逆行列を必要としない変種 (PGBGS) を提案する。各反復で複数の座標ブロックを貪欲に選択し、それらをブロック Gauss-Seidel ステップで更新することで、GBGS 法は、グリーディランダム座標降下 (GRCD) 法よりも著しく小さい収束係数を達成し、反復回数が少なく、収束が速くなる。PGBGS は、高価な疑似逆行列計算を回避することで、さらなる性能向上を実現する。

ABSTRACT

With a greedy strategy to construct control index set of coordinates firstly and then choosing the corresponding column submatrix in each iteration, we present a greedy block Gauss-Seidel (GBGS) method for solving large linear least squares problem. Theoretical analysis demonstrates that the convergence factor of the GBGS method can be much smaller than that of the greedy randomized coordinate descent (GRCD) method proposed recently in the literature. On the basis of the GBGS method, we further present a pseudoinverse-free greedy block Gauss-Seidel method, which doesn't need to calculate the Moore-Penrose pseudoinverse of the column submatrix in each iteration any more and hence can be achieved greater acceleration. Moreover, this method can also be used for distributed implementations. Numerical experiments show that, for the same accuracy, our methods can far outperform the GRCD method in terms of the iteration number and computing time.

研究の動機と目的

• 大規模な線形最小二乗問題に対する既存の反復的手法の非効率性（計算コストの高さと収束の遅さ）を是正すること。
• GRCD のような手法における単一座標更新の制限を克服し、ブロック選択による複数座標の同時更新を可能にすること。
• 疑似逆行列計算を回避することで、計算オーバーヘッドを低減しながらも高速な収束を維持する変種を開発すること。
• 各反復における高価な Moore-Penrose 疎行列計算の必要性を排除することで、分散処理への対応を可能にすること。
• 密行列および疎行列の両方において、最先端の GRCD 法と比較して反復回数と計算時間の両面で優れた性能を示すこと。

提案手法

• 各反復で、残差誤差の減少を最大にする貪欲な戦略に基づき、座標インデックスの集合を選択する貪欲なブロック Gauss-Seidel (GBGS) 法を提案する。
• ブロック更新則：$ x_{k+1} = x_k + I_{ au} A^{ op}_{ au} (b - A x_k) $、ここで $ A_{ au}^{ op} $ は選択された列部分行列の Moore-Penrose 疎行列である。
• 収束の高速化を保証するため、残差の大きさと列ノルムを組み合わせた貪欲な選択基準を用いて制御インデックス集合 $ au $ を形成する。
• 正規方程式に基づく修正された更新スキームを用いることで、$ A^{ op}_{ au} $ の計算を回避する疑似逆行列フリーの貪欲なブロック Gauss-Seidel (PGBGS) 法を開発する。
• 目的関数の十分な減少を保証するため、ラインサーチパラメータ $ ho_k $ を採用し、安定性と収束速度を向上させる。
• PGBGS 法は収束保証を維持しながらも、反復あたりの計算コストを著しく低減し、効率的な分散計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Gauss-Seidel 法における貪欲なブロック選択戦略が、GRCD 法よりも小さい収束係数を達成できるか？
• RQ2 ブロック更新における疑似逆行列計算をより効率的なスキームに置き換えることで、収束性能に影響を与えずに計算効率が向上するか？
• RQ3 PGBGS 法が反復あたりの計算依存性を低減しているため、分散環境での効果的な実装が可能か？
• RQ4 GBGS および PGBGS 法は、密行列および疎行列において GRCD 法と比較して、反復回数、計算時間、および総フロップ数の観点でどのように異なるか？
• RQ5 1反復あたり複数の座標を同時に選択する貪欲な選択が、単一座標更新と比較して収束をどの程度加速するか？

主な発見

• GBGS 法は、GRCD 法よりも著しく小さい収束係数を達成し、同じ精度において反復回数が少ない。
• 同じ精度（$ exttt{RES} < 10^{-6} $）を満たすために、密行列および疎行列の両方において、GBGS 法は GRCD 法よりも著しく少ない反復回数を要する。
• PGBGS 法は、疑似逆行列計算の排除により、GRCD 法と同等の総フロップ数であっても、計算時間をより効果的に短縮する。
• サイズ $ 5000 imes 1000 $ および $ 5000 imes 2000 $ の密行列において、PGBGS 法は最も低い CPU 時間を達成し、GRCD 法を大きく上回る。
• University of Florida コレクションの疎行列（abtaha1 および ash958）において、GBGS および PGBGS 法は GRCD 法と比較して反復回数と計算時間を著しく削減する。
• PGBGS 法は GRCD 法とほぼ同等のフロップ数を維持しながらも、効率的なブロック更新と疑似逆行列計算の不在により、より速い収束を達成する。