[論文レビュー] Gradient Projection Iterative Sketch for Large-Scale Constrained Least-Squares

Junqi Tang, Mohammad Golbabaee+1 more|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 13

ひとこと要約

本稿では、大規模な制約付き最小二乗問題を効率的に解くために、スケッチを用いる最初の順序ランダム化アルゴリズムとして、勾配射影反復スケッチ（GPIS）およびその加速版（Acc-GPIS）を提案する。この手法は、決定的スケッチとラインサーチによるステップサイズ選択を組み合わせることで、SAGAなどの確率的勾配法やフル勾配法よりも、合成および実世界のデータセットにおいて速度と計算効率の両面で優れたウォルクロックタイム性能を達成する。

ABSTRACT

We propose a randomized first order optimization algorithm Gradient Projection Iterative Sketch (GPIS) and an accelerated variant for efficiently solving large scale constrained Least Squares (LS). We provide theoretical convergence analysis for both proposed algorithms and demonstrate our methods' computational efficiency compared to classical accelerated gradient method, and the state of the art variance-reduced stochastic gradient methods through numerical experiments in various large synthetic/real data sets.

研究の動機と目的

• 機械学習および信号処理分野における大規模な制約付き最小二乗問題の計算ボトル neck を解決すること。
• 特に頻回なデータアクセスと高コストな射影演算によるウォルクロックタイムの悪化に起因する、確率的勾配法の限界を克服すること。
• 問題の次元を低減しつつ解の正確性を保持するため、スケッチを活用する最初の順序最適化フレームワークを開発すること。
• スケッチフレームワーク内における最初の順序法の理論的収束解析を初めて提供すること（ここでスケッチされた部分問題は正確にではなく近似的に解かれる）。
• 制約集合の構造を活用することで、内側および外側のループの両方で収束を加速できることを示すこと。

提案手法

• 制約付き最小二乗問題に対して、古典的スケッチ（Pilanci & Wainwright, 2015）と反復ヘッシアンスケッチ（Pilanci & Wainwright, 2016）を組み合わせた最初の順序アルゴリズム、GPISを提案する。
• 収束速度を向上させるために、ネステロフの加速スキームを適用することで、加速版であるAcc-GPISを導入する。
• 内側ループで特化されたラインサーチスキームを採用し、近似的に最適なステップサイズを選択する。決定的反復を活用することで、計算効率を向上させる。
• カウンタースケッチやガウススケッチなどのスケッチ行列を用いて、元の高次元問題を低次元空間に射影する。
• スケッチされた空間内で勾配射影ステップを適用し、反復が制約集合内（例：l1球、ノルム、低ランク制約）に留まるように保証する。
• カウンタースケッチおよびFJLTを用いた効率的なスケッチ実装により、計算コストを低減するとともに、理論的保証のための集中限界を維持する。

実験結果

リサーチクエスチョン

• RQ1 射影演算が高コストな状況において、SAGAなどの確率的勾配法よりも、最初の順序スケッチ法がより速いウォルクロックタイムを達成できるか？
• RQ2 制約集合の構造が、反復スケッチアルゴリズムの外側ループにおける収束速度にどのように影響するか？
• RQ3 スケッチされた部分問題が正確ではなく近似的に解かれる場合、GPISおよびAcc-GPISの理論的収束挙動はどのようになるか？
• RQ4 決定的反復の特性を活かして、スケッチベースの最初の順序法において、積極的なラインサーチをどの程度効果的に適用できるか？
• RQ5 カウンタースケッチとガウススケッチの間で、スケッチ行列の選択が大規模な制約付き最小二乗問題における性能と安定性にどのように影響するか？

主な発見

• GPISおよびAcc-GPISは、合成および実世界データを含むすべてのテストデータセットにおいて、SAGAおよび加速フル勾配法よりも優れたウォルクロックタイム性能を達成する。
• 500k × 90のMillion-song Year Predictionデータセットにおいて、バッチサイズ10のSAGAでさえ、GPISに比べてウォルクロックタイムで劣る。
• 核ノルム制約（Syn3）のような高コストな射影演算が伴う状況では、小さなバッチサイズのSAGAが反復回数が多くなり、射影呼び出しの頻度も高いため、著しく遅延する。
• フル勾配法は高コストな射影が伴う状況でより競争力を持つようになるが、誤差が減少するに従い、スケッチ勾配法も依然として計算上の利点を示す。
• 決定的反復のおかげで、効果的なラインサーチが可能となり、近似的に最適なステップサイズが選択され、小さなミニバッチへのアクセス依存度が低下する。これにより、現代のベクトル化ハードウェア上で性能が向上する。
• 理論的解析により、ガウススケッチ下で高確率での収束が保証され、外側ループの収束速度は制約集合の構造によって向上することが示された。