[論文レビュー] Adaptive Sketch-and-Project Methods for Solving Linear Systems

Robert M. Gower, Denali Molitor+2 more|arXiv (Cornell University)|Sep 9, 2019

Stochastic Gradient Optimization Techniques参考文献 38被引用数 10

ひとこと要約

本稿では、線形方程式系をより効率的に解くために、スケッチ・アンド・プロジェクション法に適応的サンプリングルール（最大距離、比例、キャップド）を導入する。スケッチ残差に基づく選択により、最大距離ルールは、理論的および実験的に従来の手法を上回る、最も速いグローバル線形収束を達成する。反復ごとの計算コストは、スケッチサイズが中程度のとき、固定サンプリングと同等である。

ABSTRACT

We present new adaptive sampling rules for the sketch-and-project method for solving linear systems. To deduce our new sampling rules, we first show how the progress of one step of the sketch-and-project method depends directly on a sketched residual. Based on this insight, we derive a 1) max-distance sampling rule, by sampling the sketch with the largest sketched residual 2) a proportional sampling rule, by sampling proportional to the sketched residual, and finally 3) a capped sampling rule. The capped sampling rule is a generalization of the recently introduced adaptive sampling rules for the Kaczmarz method. We provide a global linear convergence theorem for each sampling rule and show that the max-distance rule enjoys the fastest convergence. This finding is also verified in extensive numerical experiments that lead us to conclude that the max-distance sampling rule is superior both experimentally and theoretically to the capped sampling rule. We also provide numerical insights into implementing the adaptive strategies so that the per iteration cost is of the same order as using a fixed sampling strategy when the number of sketches times the sketch size is not significantly larger than the number of columns.

研究の動機と目的

• 大規模線形方程式系を解くスケッチ・アンド・プロジェクション法の収束速度を向上させるために、適応的サンプリング戦略を開発すること。
• スケッチ残差が収束に与える影響を分析し、その知見をもとに新たなサンプリングルールを設計すること。
• 提案された各適応的サンプリングルールに対して、グローバル線形収束の保証を提供すること。
• 適応的戦略を理論的および実験的に比較し、最も効率的な手法を同定すること。
• 反復ごとの計算コストが固定サンプリング戦略と同等に保たれることを保証すること。

提案手法

• 本手法は、スケッチ残差を用いて適応的サンプリングを誘導する。各スケッチは、スケッチ行列を用いてシステムの部分抽出である。
• 最大距離ルールは、スケッチ残差の大きさが最大のスケッチを選択し、各反復での進行を最大化する。
• 比例サンプリングルールは、スケッチ残差の大きさに比例する確率でスケッチを選択する。
• キャップドサンプリングルールは、残差の重み付き平均に基づいてしきい値を設定することで、従来の適応的カツマルツ規則を一般化する。
• スケッチ・アンド・プロジェクションの更新は、選択されたスケッチシステムの解空間に現在の反復点をBノルムで射影することで行う。
• 理論的収束は、各反復の進行をスケッチ残差ノルムと結びつける、新規な解析によって確立される。

実験結果

リサーチクエスチョン

• RQ1 スケッチ残差の大きさは、1反復あたりのスケッチ・アンド・プロジェクションの進行にどのように影響するか？
• RQ2 スケッチ残差に基づく適応的サンプリングルールは、固定サンプリングを上回る収束速度を達成できるか？
• RQ3 最大距離、比例、キャップドのうち、どの適応的ルールが最も速いグローバル線形収束を達成するか？
• RQ4 適応的サンプリングの計算コストは固定サンプリングと比べてどの程度か？また、競争力を持ち続けられるか？
• RQ5 理論的収束レートと多様なテストケースにおける実験的性能の間には、どのような相違があるか？

主な発見

• 最大距離サンプリングルールは、提案されたすべての適応的戦略の中で、最も速いグローバル線形収束レートを達成する。
• 数値実験により、最大距離ルールが収束速度およびテスト問題全体にわたるロバストネスの両面でキャップドルールを上回ることが確認された。
• スケッチ数×スケッチサイズが列数よりも著しく大きくない場合、適応的サンプリングの反復ごとの計算コストは固定サンプリングと同程度のオーダーである。
• 比例サンプリングルールは、逐次探索によるサンプリングで平均して約2q flops/反復を要する。
• キャップド適応的サンプリングルールは、反復ごとに合計6q + O(log q) flopsのコストを要するが、均一平均を用いる場合、5q + O(log q)に削減される。
• 理論的解析により、標準仮定の下で、3つの適応的サンプリングルールすべてについてグローバル線形収束が保証された。