[論文レビュー] Convergence Rates for Greedy Kaczmarz Algorithms, and Faster Randomized Kaczmarz Rules Using the Orthogonality Graph

Julie Nutini, Behrooz Sepehry+4 more|arXiv (Cornell University)|Dec 22, 2016

Sparse and Compressive Sensing Techniques参考文献 33被引用数 10

ひとこと要約

本稿では、線形方程式系を解くために、収束速度が確率的Kaczmarz法を上回る、貪欲なKaczmarz選択ルール—特に最大残差（MR）および最大距離（MD）ルール—を導入する。MRルールのための最初のマルチステップ収束解析を提供し、行が対ごとに直交する行列に対しては、直交性グラフを用いた、理論的に速い確率的選択ルールを提案しており、実際の収束速度の向上が顕著に見られる。

ABSTRACT

The Kaczmarz method is an iterative algorithm for solving systems of linear equalities and inequalities, that iteratively projects onto these constraints. Recently, Strohmer and Vershynin [J. Fourier Anal. Appl., 15(2):262-278, 2009] gave a non-asymptotic convergence rate analysis for this algorithm, spurring numerous extensions and generalizations of the Kaczmarz method. Rather than the randomized selection rule analyzed in that work, in this paper we instead discuss greedy and approximate greedy selection rules. We show that in some applications the computational costs of greedy and random selection are comparable, and that in many cases greedy selection rules give faster convergence rates than random selection rules. Further, we give the first multi-step analysis of Kaczmarz methods for a particular greedy rule, and propose a provably-faster randomized selection rule for matrices with many pairwise-orthogonal rows.

研究の動機と目的

• 貪欲なKaczmarzアルゴリズムの収束速度を確率的選択ルールと比較して分析・改善すること。
• 大規模な線形方程式系における貪欲な選択ルールの実装に効率的な計算戦略を開発すること。
• 行が対ごとに直交する行列に対して、直交性グラフを用いた理論的に速い確率的選択ルールを提案すること。
• Kaczmarz型手法における最大残差ルールのための最初のマルチステップ収束解析を提供すること。
• 貪欲なルールの実用的機械学習応用（最小二乗法や半教師付き学習など）における性能を評価すること。

提案手法

• Kaczmarz反復において次に投影する行を選ぶために、最大残差（MR）および最大距離（MD）の貪欲な選択ルールを導入する。
• 選択優先度を維持・効率的に更新するために、2分ヒープデータ構造を用いることで、1反復あたりO(log m)の更新が可能となる。
• 対ごとに直交する行を特定するために直交性グラフを提案し、重複しない制約に焦点を当てることで、より速い確率的選択を可能にする。
• 直交性グラフを用いて、標準的なランダム選択よりも収束を改善する適応的非一様および一様サンプリングルールを定義する。
• マルチステップ解析フレームワークを適用し、MRルールのためのより緊密な収束バウンドを導出することで、単一ステップ解析に比べて優れた性能を明らかにする。
• 二乗誤差と解への距離の両方の目的関数で収束をバランスよく達成できるように、MRとMDを交互に使用するハイブリッド貪欲ルールを実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 最大残差や最大距離といった貪欲な選択ルールは、Kaczmarz法において確率的選択と比較して収束速度にどのような差をもたらすか？
• RQ2 最大残差ルールのマルチステップ解析は、単一ステップ解析よりも緊密な収束バウンドを提供できるか？
• RQ3 貪欲な選択ルールの実装にかかる計算コストはどの程度で、ランダム選択や巡回選択と比較して実用的な利点を持つのはどのような状況か？
• RQ4 行列の対ごとに直交する行の構造を活用して、より速い確率的選択ルールを設計できるか？
• RQ5 MRとMD選択を組み合わせたハイブリッド貪欲ルールは、二乗誤差と解への距離という複数の目的関数において、収束性能にどのように寄与するか？

主な発見

• 最大残差ルールは、収束定数の理論的改善を伴い、確率的Kaczmarz法よりも速い収束速度を達成する。
• 最大残差ルールのための、Kaczmarzアルゴリズムとして初めてのマルチステップ収束解析が提供され、単一ステップのランダム選択に比べて優れた性能が明らかになった。
• 行が対ごとに直交する行列に対しては、提案された直交性グラフに基づく確率的選択ルールが、標準的なランダム選択よりも理論的に速い収束を達成する。
• 数値実験では、貪欲なルールがランダム選択を上回る収束速度を示し、特に最小二乗法や半教師付き学習タスクで顕著な向上が見られた。
• MRとMD選択を交互に使用するハイブリッド貪欲ルールは、二乗誤差と解への距離の両方の目的関数において、バランスよく高速な収束を達成した。
• 2分ヒープなどの効率的なデータ構造を用いることで、貪欲選択の計算コストはランダム選択と同等となり、大規模問題においても実用的であることが示された。