[論文レビュー] Pseudoinverse-free randomized extended block Kaczmarz for solving least squares.

Kui Du, Wutao Si+1 more|arXiv (Cornell University)|Jan 13, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、最小ℓ₂ノルム解への指数的収束を達成する、擬似逆行列を必要としないランダム化拡張ブロックカツマルツ法を提案する。この手法は、行列の逆行列計算を必要とせず、反復的にシステム行列のブロック行を解空間に射影することで動作し、一貫性があるか否か、過剰決定か未定義か、フルランクかランク落ちかにかかわらず、あらゆるタイプのシステムに対して効率的な分散計算を可能にする。

ABSTRACT

Randomized iterative algorithms have recently been proposed to solve large-scale linear systems. In this paper, we present a simple randomized extended block Kaczmarz algorithm that exponentially converges in the mean square to the unique minimum $\ell_2$-norm least squares solution of a given linear system of equations. The proposed algorithm is pseudoinverse-free and therefore different from the projection-based randomized double block Kaczmarz algorithm of Needell, Zhao, and Zouzias. We emphasize that our method works for all types of linear systems (consistent or inconsistent, overdetermined or underdetermined, full-rank or rank-deficient). Moreover, our approach can utilize efficient implementations on distributed computing units, yielding remarkable improvements in computational time. Numerical examples are given to show the efficiency of the new algorithm.

研究の動機と目的

• 行列の擬似逆行列に依存しない、大規模な最小二乗問題を解くためのランダム化反復手法の開発。
• あらゆる線形システム構成において、最小ℓ₂ノルム解への平均二乗収束を保証すること。
• 計算性能の向上を図るため、分散コンピューティングアーキテクチャへの効率的実装を可能にすること。
• 一貫性があるか否か、過剰決定か未定義か、フルランクかランク落ちかにかかわらず、すべてのシステムタイプに適用可能な統一的フレームワークの提供。

提案手法

• システム行列からのブロック行のランダムサンプリングを用いて、反復的に解の推定値を改善する。
• ムーア・ペンローズ擬似逆行列の明示的計算を避けるランダム化カツマルツ型更新を適用する。
• 更新則は、選択されたブロックに対応する超平面に射影する拡張カツマルツフレームワークに基づいて導出される。
• 選択におけるブロック構造とランダム化を活用することで、数値的安定性と収束性を維持する。
• 複数のコンピューティングユニットに容易に並列化・分散化できるように設計されている。
• 収束は期待値の観点から分析され、最小ℓ₂ノルム解への指数的平均二乗収束が示されている。

実験結果

リサーチクエスチョン

• RQ1 擬似逆行列計算を用いずに、ランダム化ブロックカツマルツ法が指数的収束を達成できるか。
• RQ2 本手法は、一貫性のないシステムやランク落ちシステムを含む多様な線形システムタイプにおいて、どのように性能を発揮するか。
• RQ3 本手法は、分散コンピューティングプラットフォーム上でどれほど効率的にスケーリング可能か。
• RQ4 平均二乗誤差の減衰という観点から、本手法の理論的収束挙動はいかなるものか。
• RQ5 既存の投影ベースのダブルブロックカツマルツ手法と比較して、本手法の効率性とロバスト性はどの程度優れているか。

主な発見

• 本手法は、最小ℓ₂ノルム最小二乗解への平均二乗収束を達成する。
• 一貫性のないシステム、過剰決定システム、未定義システム、フルランクシステム、ランク落ちシステムを含む、あらゆるタイプの線形システムに適用可能である。
• 擬似逆行列フリーであるため、高コストで数値的に不安定な行列逆行列演算を回避できる。
• 効率的な分散コンピューティング実装により、著しい高速化が実現可能である。
• 数値実験により、さまざまなテストケースにおいて本手法の効率性とロバスト性が確認された。