[論文レビュー] PCA with Gaussian perturbations

Wojciech Kotłowski, Manfred K. Warmuth|arXiv (Cornell University)|Jun 16, 2015

Machine Learning and Algorithms参考文献 14被引用数 5

ひとこと要約

本稿では、$O(n^3)$ の固有値分解を避けるためにガウスノイズを用いることで、$O(kn^2)$ の演算に低減した、ランク-$k$ 主成分分析（PCA）の新しいオンラインアルゴリズムを提案する。この手法は、最適解に近いレグルゲーション性能を達成し、1回の試行あたり線形時間で計算可能でありながら、優れた一般化性能を維持する。

ABSTRACT

Most of machine learning deals with vector parameters. Ideally we would like to take higher order information into account and make use of matrix or even tensor parameters. However the resulting algorithms are usually inefficient. Here we address on-line learning with matrix parameters. It is often easy to obtain online algorithm with good generalization performance if you eigendecompose the current parameter matrix in each trial (at a cost of $O(n^3)$ per trial). Ideally we want to avoid the decompositions and spend $O(n^2)$ per trial, i.e. linear time in the size of the matrix data. There is a core trade-off between the running time and the generalization performance, here measured by the regret of the on-line algorithm (total gain of the best off-line predictor minus the total gain of the on-line algorithm). We focus on the key matrix problem of rank $k$ Principal Component Analysis in $\mathbb{R}^n$ where $k \ll n$. There are $O(n^3)$ algorithms that achieve the optimum regret but require eigendecompositions. We develop a simple algorithm that needs $O(kn^2)$ per trial whose regret is off by a small factor of $O(n^{1/4})$. The algorithm is based on the Follow the Perturbed Leader paradigm. It replaces full eigendecompositions at each trial by the problem finding $k$ principal components of the current covariance matrix that is perturbed by Gaussian noise.

研究の動機と目的

• 1回の試行あたり $O(n^3)$ の固有値分解を要する従来のオンラインPCAアルゴリズムの計算効率の低さを解消すること。
• 計算時間の $O(n^3)$ から $O(kn^2)$ に短縮しつつ、優れた一般化性能を維持すること。
• 行列サイズに比例してスケーリング可能な効率的なオンライン学習手法を、行列パラメータの学習に開発すること。
• オンライン行列学習における計算効率とレグルゲーションのトレードオフを分析すること。

提案手法

• アルゴリズムは、各試行で完全な固有値分解を回避するため、Follow the Perturbed Leader（FPL）の枠組みを採用する。
• 独立同一分布に従うガウスノイズを加えた共分散行列の上位 $k$ 個の主成分を計算する。
• ノイズの導入により、パワー反復法などの手法を用いて、主成分の効率的計算が可能となり、計算量は $O(n^3)$ から $O(kn^2)$ に低減する。
• 各試行で独立にノイズを生成することで、探索性を確保しつつ安定性を維持する。
• パラメータ行列は、ノイズを加えた主成分に基づいて更新される。
• レグルゲーションは、ノイズによって生じるずれの程度を用いて分析され、最適なオフライン解に対して $O(n^{1/4})$ の要因以内に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 計算コストを著しく削減しつつ、オンラインPCAで近似的に最適なレグルゲーションを達成できるか？
• RQ2 ガウスノイズは、オンラインPCAアルゴリズムの安定性と収束性にどのように影響するか？
• RQ3 オンライン行列学習における計算複雑度とレグルゲーションのトレードオフは何か？
• RQ4 FPLフレームワークは、低ランク構造を持つ行列パラメータの学習に効果的に適応可能か？

主な発見

• 提案手法は、1回の試行あたり $O(kn^2)$ 時間で実行され、完全な固有値分解の $O(n^3)$ のコストに比べて著しく高速である。
• アルゴリズムのレグルゲーションは、最適なオフラインレグルゲーションの $O(n^{1/4})$ 要因以内に収束する。
• ガウスノイズの使用により、明示的な固有値分解を伴わずに、上位 $k$ 個の主成分を効率的に計算可能である。
• 計算オーバーヘッドを著しく削減しながらも、優れた一般化性能を維持している。