[論文レビュー] Accelerated Stochastic Power Iteration

Christopher De, Bryan He+3 more|PubMed|Jul 10, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用数 20

ひとこと要約

本稿では、ステージスティックなパワー反復にモーメンタムを導入した手法を提案する。この手法は、サンプル複雑度および反復複雑度の両面で加速された収束を達成し、ランツォス法と同等の最適な $Ø(1/\sqrt{\Delta})$ 速度を達成する。同時に、単純さと並列処理の可能性を維持する。分散のダイナミクスを分析し、モーメンタムと分散低減またはミニバッチ処理を組み合わせることで、複雑な行列逆行列計算を要せず、並列環境下でのウォールクロック時間の加速を実現する。

ABSTRACT

Principal component analysis (PCA) is one of the most powerful tools in machine learning. The simplest method for PCA, the power iteration, requires <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:mi>Δ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> </mml:math> full-data passes to recover the principal component of a matrix with eigen-gap Δ. Lanczos, a significantly more complex method, achieves an accelerated rate of <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> passes. Modern applications, however, motivate methods that only ingest a subset of available data, known as the stochastic setting. In the online stochastic setting, simple algorithms like Oja's iteration achieve the optimal sample complexity <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:msup><mml:mi>σ</mml:mi> <mml:mn>2</mml:mn></mml:msup> <mml:mo>/</mml:mo> <mml:msup><mml:mi>Δ</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> . Unfortunately, they are fully sequential, and also require <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:msup><mml:mi>σ</mml:mi> <mml:mn>2</mml:mn></mml:msup> <mml:mo>/</mml:mo> <mml:msup><mml:mi>Δ</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> iterations, far from the <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> rate of Lanczos. We propose a simple variant of the power iteration with an added momentum term, that achieves both the optimal sample and iteration complexity. In the full-pass setting, standard analysis shows that momentum achieves the accelerated rate, <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> . We demonstrate empirically that naively applying momentum to a stochastic method, does not result in acceleration. We perform a novel, tight variance analysis that reveals the "breaking-point variance" beyond which this acceleration does not occur. By combining this insight with modern variance reduction techniques, we construct stochastic PCA algorithms, for the online and offline setting, that achieve an accelerated iteration complexity <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:msqrt><mml:mi>Δ</mml:mi></mml:msqrt> <mml:mo>)</mml:mo></mml:mrow> </mml:math> . Due to the embarassingly parallel nature of our methods, this acceleration translates directly to wall-clock time if deployed in a parallel environment. Our approach is very general, and applies to many non-convex optimization problems that can now be accelerated using the same technique.

研究の動機と目的

• ランツォスのようなフルパス法の加速収束速度と、確率的PCA手法との間のギャップを埋めること。
• 既存の確率的手法が最適なサンプル複雑度を達成できるが、最適な反復複雑度には到達できないという限界を解決すること。
• 複雑な行列逆行列計算を要せず、単純なモーメンタムに基づく手法が、確率的PCAで加速を達成できることを示すこと。
• 分散に配慮したモーメンタムを用いて、非凸最適化問題を加速する一般化可能なフレームワークを開発すること。
• オンラインおよびオフラインの確率的設定において、容易に並列化可能な実行構造を活かしてウォールクロック時間の加速を実現すること。

提案手法

• モーメンタムを組み込んだ確率的パワー反復を提案し、期待値における収束の加速を実現する。
• 分散のダイナミクスを分析する新しい鋭い分散解析を実施し、モーメンタムが収束加速を失う「破綻点分散」を同定する。
• 分散低減のための2つの技術を導入：ミニバッチ処理と分散低減サンプリング。これにより分散を制御し、加速を保証する。
• チェビシェフ多項式を用いて反復の分散の正確な表現を導出し、収束挙動を分析する。
• モーメンタムと分散低減を組み合わせることで、確率的設定下でも加速された $Ø(1/\sqrt{\Delta})$ の反復複雑度を維持する。
• この手法の容易に並列化可能な性質（ embarrassingly parallel な性質）を活かし、反復レベルの加速をウォールクロック時間の高速化に変換する。

実験結果

リサーチクエスチョン

• RQ1 モーメンタムに基づく確率的パワー反復は、確率的設定下でランツォス法の加速された $Ø(1/\sqrt{\Delta})$ の反復複雑度を達成できるか？
• RQ2 サンプル分散と、確率的PCAにおけるモーメンタムによる収束加速の失敗との間の正確な関係は何か？
• RQ3 ナーブなモーメンタムが確率的設定で失敗した場合、分散低減またはミニバッチ処理によって加速を回復できるか？
• RQ4 単純な非凸最適化手法を用いて、最適なサンプル複雑度と最適な反復複雑度の両方を達成することは可能か？
• RQ5 提案手法は、加速を必要とする他の非凸最適化問題へ一般化可能か？

主な発見

• 提案されたモーメンタムベースの確率的PCAアルゴリズムは、反復複雑度 $Ø(1/\sqrt{\Delta})$ を達成し、フルパス設定下でのランツォス法の加速速度と一致する。
• 確率的パワー反復にモーメンタムをナーブに適用しても、実際の収束において分散が支配的になるため、加速は失敗する。
• チェビシェフ多項式を用いた解析により、モーメンタムが加速を失う「破綻点分散」の正確な閾値を同定した。
• モーメンタムと分散低減、またはミニバッチ処理を組み合わせることで、最適なサンプル複雑度 $Ø(\sigma^2/\Delta^2)$ と最適な反復複雑度 $Ø(1/\sqrt{\Delta})$ の両方を達成する。
• 容易に並列化可能な構造のおかげで、並列環境下でのウォールクロック時間の加速が可能である。
• この手法は他の非凸最適化問題へ一般化可能であり、複雑な行列逆行列に基づく加速手法に代わる、単純なモーメンタムと分散制御の有効性を示している。