[論文レビュー] Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jan 6, 2017

Stochastic Gradient Optimization Techniques被引用数 14

ひとこと要約

本稿では、最適な O(√T) のリグレットを達成すると同時に、従来の手法よりも著しく高速な実行時間を持つ、オンライン固有ベクトル計算のための新規アルゴリズムである Follow-the-Compressed-Leader (FTCL) フレームワークを導入する。敵対的設定では行列戦略を次元3に、確率的設定では次元1に圧縮することで、MMWUの最適なリグレットを達成しつつ、1イテレーションあたりの実行時間を O(d^ω) から O(nnz(A)) または O(1) に削減し、主固有ベクトルのスケーラブルなオンライン学習を可能にする。

ABSTRACT

The online problem of computing the top eigenvector is fundamental to machine learning. In both adversarial and stochastic settings, previous results (such as matrix multiplicative weight update, follow the regularized leader, follow the compressed leader, block power method) either achieve optimal regret but run slow, or run fast at the expense of loosing a $\sqrt{d}$ factor in total regret where $d$ is the matrix dimension. We propose a $ extit{follow-the-compressed-leader (FTCL)}$ framework which achieves optimal regret without sacrificing the running time. Our idea is to "compress" the matrix strategy to dimension 3 in the adversarial setting, or dimension 1 in the stochastic setting. These respectively resolve two open questions regarding the design of optimal and efficient algorithms for the online eigenvector problem.

研究の動機と目的

• 最適なリグレットを達成しつつ計算効率を損なわないオンライン固有ベクトルアルゴリズムの設計。
• 敵対的オンライン固有ベクトル問題において、最適なリグレットを達成しつつ高速な実行時間を実現するという未解決問題の解決。
• この結果を確率的設定に拡張し、収束速度を維持したままリグレットを最小化すること。
• 敵対的および確率的設定の両方において、リグレットと収束速度に関する理論的保証の提供。
• 提案手法が MMWU や FTPL といった既存手法を、リグレットと時間計算量の両面で上回ることの実証。

提案手法

• 敵対的設定では次元3、確率的設定では次元1に圧縮する、行列戦略の低次元表現を用いる Follow-the-Compressed-Leader (FTCL) フレームワークを提案。
• MMWUに類似した更新において、ランダム射影によるスケッチを用いて行列指数関数を圧縮し、次元を削減しながらリグレットの保証を維持。
• 圧縮空間内で線形方程式系の解法 (Mlin) または固有ベクトル計算 (Mev) を実行し、1イテレーションあたり O(nnz(A)) または O(1) の時間計算量を達成。
• Johnson-Lindenstrauss型の圧縮を適用して行列戦略の有効次元を低下させ、リグレット損失が有界であることを保証。
• 濃度の分析に、テールバウンドと Lieb-Thirring 不等式を活用し、圧縮された行列の集中性を保証し、高確率でのリグレットバウンドを導出。
• トレース不等式とカイ二乗分布のテールバウンドを組み合わせた、新規な解析手法を導入し、圧縮戦略の性能を真の最適固有ベクトルと関連付ける。

実験結果

リサーチクエスチョン

• RQ1 敵対的オンライン固有ベクトル問題において、最適な O(√T) のリグレットを達成しつつ、サブキュービック時間計算量を維持できるか。
• RQ2 MMWUのリグレットを達成しつつ、高価な固有値分解を必要としない高速なオンライン固有ベクトル学習アルゴリズムを設計可能か。
• RQ3 異なるデータ環境下で、FTCLのリグレットと実行時間は FTPL や MMWU と比べてどのように異なるか。
• RQ4 圧縮戦略を確率的設定に拡張し、最小限の計算コストで最適なリグレットを達成できるか。
• RQ5 確率的オンライン固有ベクトル学習におけるリグレットの理論的下界は何か。FTCLはその下界を満たすか。

主な発見

• FTCL は敵対的および確率的両設定で最適な O(√T) のリグレットを達成し、定数倍の差異を除いて理論的下界に一致する。
• FTCL の1イテレーションあたりの時間計算量は O(nnz(A)) または O(1) であり、MMWU の O(d^ω) に比べて顕著に高速である。
• 確率的設定では、ε-平均リグレットを達成するための総時間計算量が O(1/ε²) にまで短縮され、従来手法の O(1/ε^3.5) よりも優れている。
• 最適なリグレットを達成しつつ高速な実行時間を実現するという未解決問題を解決し、FTPL や MMWU-JL が残したギャップを埋めた。
• 理論的解析により、FTCL のリグレットは高確率で O(√T) に有界であり、ノイズやランク1のフィードバック行列に対してもロバストであることが確認された。
• 確率的設定における下界として Ω(√(λT)) が確立され、FTCL の性能は対数要因を除いてこの下界と一致する。