[論文レビュー] Greed Works: An Improved Analysis of Sampling Kaczmarz-Motzkin

Jamie Haddock, Anna Ma|arXiv (Cornell University)|Dec 7, 2019

Stochastic Gradient Optimization Techniques参考文献 59被引用数 4

ひとこと要約

本稿では、大規模な線形方程式系を解くためのハイブリッド確率的・グリーディ手法としてのサンプリング・カツマルツ・モッツキン（SKM）アルゴリズムの収束解析を改善した。固定のサンプルサイズや正規化された行を必要としなくなったことで、SKMの収束速度がシステムのダイナミックレンジと適応的選択されたサンプルサイズβに依存することが明らかになり、従来の境界を著しく改善し、反復的ソルバーにおける部分的グリーディネスの利点を示している。

ABSTRACT

Stochastic iterative algorithms have gained recent interest in machine learning and signal processing for solving large-scale systems of equations, $Ax=b$. One such example is the Randomized Kaczmarz (RK) algorithm, which acts only on single rows of the matrix $A$ at a time. While RK randomly selects a row of $A$ to work with, Motzkin's Method (MM) employs a greedy row selection. Connections between the two algorithms resulted in the Sampling Kaczmarz-Motzkin (SKM) algorithm which samples a random subset of $β$ rows of $A$ and then greedily selects the best row of the subset. Despite their variable computational costs, all three algorithms have been proven to have the same theoretical upper bound on the convergence rate. In this work, an improved analysis of the range of random (RK) to greedy (MM) methods is presented. This analysis improves upon previous known convergence bounds for SKM, capturing the benefit of partially greedy selection schemes. This work also further generalizes previous known results, removing the theoretical assumptions that $β$ must be fixed at every iteration and that $A$ must have normalized rows.

研究の動機と目的

• 純粋に確率的と完全にグリーディなカツマルツ法の間のギャップを埋めるために、サンプリング・カツマルツ・モッツキン（SKM）アルゴリズムの理論的収束境界を改善すること。
• 固定のβを各反復で仮定する、行列Aの行が正規化されているという制限付き仮定を排除することで、先行研究の分析を一般化すること。
• SKMの収束速度が線形システムのダイナミックレンジおよびサンプルサイズβの選択にどのように依存するかを定量化すること。
• 実験的に、βの途中値（例：β=10）が収束速度と計算コストの最良のトレードオフを達成することが多いことを示すこと。
• SKM型アルゴリズムにおける適応的β選択および最適なサンプルサイズ戦略に関する新たな研究分野を開くこと。

提案手法

• 反復ごとに変化するサンプルサイズβkの影響を捉えるべく、SKMの理論的分析を洗練したものとする。
• システムのダイナミックレンジ（非ゼロ特異値の最大値と最小値の比）に明示的に依存する収束境界を導入する。
• Aの行が正規化されている必要があるという仮定を排除し、一般行列にも適用可能な解析を可能にする。
• 確率的枠組みを用いて、各反復における誤差の期待値減少を分析し、残差の大きさと行のノルムを活用する。
• アルゴリズムがβ個の行をサンプリングし、その中から残差の大きさが最大のものを選択する一般化された残差選択ルールを導入する。
• 古典的な (1 - σ²min / ||A||²F) のレートを改善する、期待誤差の減少に関する新しい上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 βを反復ごとに変化させることを許容した場合、SKMアルゴリズムの収束速度はサンプルサイズβにどのように依存するか？
• RQ2 固定βと正規化された行という仮定を排除することで、SKMの収束解析を改善できるか？
• RQ3 線形システムのダイナミックレンジがSKMの収束行動に果たす役割は何か？
• RQ4 部分的グリーディネス（中間のβ）は、完全に確率的（β=1）または完全にグリーディ（β=m）な選択よりも優れた性能を発揮するか？
• RQ5 実際の計算コストを最小限に抑えつつ、高速な収束を達成するための最適なβの選択は何か？

主な発見

• 改善されたSKMの収束境界は、システムのダイナミックレンジとβkの適応的選択の両方に依存しており、部分的グリーディネスが収束速度の向上に寄与することが示された。
• 固定βと正規化された行という制限付き仮定を排除することで、理論的結果がより広いクラスの線形方程式系に適用可能になった。
• 実験的結果から、スケールフリーなネットワーク行列やSuiteSparseの実世界のスパース行列において、β=10がCPU時間の観点で最適な性能を示した。
• 「ash958」行列では、β=10が最も低いCPU時間を達成しながら高い精度を維持しており、中間のβ値が極端な選択を上回ることを示している。
• 実世界の行列では、βを1から10から50に増加させることで近似誤差は減少するが、FLOPSとCPU時間は増加するため、精度と効率のトレードオフが確認された。
• 共役グレディエント・リーマス・スクエアーズ（CGLS）は、β=1,10,50のSKMよりも最終誤差と速度の点で優れていたが、SKMは分散コンピューティング環境に自然に適している。