[論文レビュー] Gen-Oja: Simple & Efficient Algorithm for Streaming Generalized Eigenvector Computation

Kush Bhatia, Aldo Pacchiano+3 more|arXiv (Cornell University)|Jan 1, 2018

Markov Chains and Monte Carlo Methods被引用数 6

ひとこと要約

本稿では、確率的設定下でのストリーミング一般化固有ベクトル計算および正準相関分析のための新規アルゴリズム、Gen-Ojaを紹介する。2段階時間スケールの確率的近似と高速混合マルコフ連鎖理論を活用することで、Gen-Ojaは最適収束速度を達成するグローバル収束を実現し、マルコフ過程に起因するノイズを持つ状況においても理論的保証を伴うシンプルで効率的なソリューションを提供する。

ABSTRACT

In this paper, we study the problems of principle Generalized Eigenvector computation and Canonical Correlation Analysis in the stochastic setting. We propose a simple and efficient algorithm for these problems. We prove the global convergence of our algorithm, borrowing ideas from the theory of fast-mixing Markov chains and two-Time-Scale Stochastic Approximation, showing that it achieves the optimal rate of convergence. In the process, we develop tools for understanding stochastic processes with Markovian noise which might be of independent interest.

研究の動機と目的

• ストリーミングで確率的な設定下での一般化固有ベクトルの計算および正準相関分析の課題に取り組むこと。
• データストリームにマルコフ過程に起因するノイズが存在する状況において、グローバル収束を保証するアルゴリズムを開発すること。
• 確率的状態下での一般化固有ベクトル計算において、最適収束速度を達成すること。
• マルコフ過程に起因するノイズを持つ確率的過程を分析するための理論的ツールを提供すること。これは、本アルゴリズムの範囲を越えて有用である可能性がある。

提案手法

• アルゴリズムは、ストリーミングデータの逐次的性質に対応するため、2段階時間スケールの確率的近似フレームワークを採用する。
• 一般化固有ベクトル推定のための高速時間スケール更新と、共分散行列近似のための遅い時間スケール更新を用いる。
• 確率的勾配更新におけるノイズ構造をモデル化・制御するために、高速混合マルコフ連鎖の理論を活用する。
• データストリームを支配するマルコフ過程のエルゴード性を活用することで収束を保証する。
• 計算が軽量であるように設計されており、反復毎に行列-ベクトル積のみを必要とし、スケーラビリティを確保する。
• 確率的近似およびマルコフ連鎖の混合に関する道具を用いて、グローバル収束と最適収束速度の理論的分析を確立する。

実験結果

リサーチクエスチョン

• RQ1 確率的かつマルコフ過程に起因するノイズ下で、ストリーミング一般化固有ベクトル計算に適したシンプルで効率的なアルゴリズムを設計できるか？
• RQ2 提案されたアルゴリズムは、確率的状態下で最適収束速度を達成するか？
• RQ3 高速混合マルコフ連鎖の理論をどのように活用して、従属ノイズを伴う確率的近似の収束を分析できるか？
• RQ4 オンライン学習の文脈において、マルコフ過程に起因するノイズを持つ確率的過程を分析するのにはどのような理論的ツールが必要か？
• RQ5 同じフレームワークをストリーミング環境下での正準相関分析に拡張できるか？

主な発見

• Gen-Ojaは、ストリーミング確率的状態下での一般化固有ベクトル計算においてグローバル収束を達成する。
• アルゴリズムは最適収束速度に達し、この問題クラスの理論的下界と一致する。
• 収束解析は、2段階時間スケールの確率的近似と高速混合マルコフ連鎖理論に裏打ちされている。
• このフレームワークは、マルコフ過程に起因するノイズを持つ確率的過程を分析するための新たなツールを提供し、独立した理論的関心を喚起する。
• アルゴリズムは計算的に効率的であり、反復毎に行列-ベクトル演算のみに依存するため、スケーラビリティが保証される。
• この手法は正準相関分析にも適用可能であり、より広範なストリーミング問題の分野への応用可能性を拡張する。