[論文レビュー] History PCA: A New Algorithm for Streaming PCA

Puyudi Yang, Cho‐Jui Hsieh+1 more|arXiv (Cornell University)|Feb 15, 2018

Random Matrices and Applications参考文献 20被引用数 14

ひとこと要約

本稿では、過去のデータブロックを活用することで収束を高速化する、新しいストリーミングPCAアルゴリズムであるHistory PCAを提案する。メモリ使用量はO(Bd)に抑えられ、Bは小さなブロックサイズである。履歴情報を再帰的更新スキームを用いて統合することで、OjaのアルゴリズムやVR-PCAよりも高速な収束を達成し、理論的保証と、合成データおよび実世界のデータセット（KDDB や RCV1 など大規模データセットも含む）における優れた性能を示す。

ABSTRACT

In this paper we propose a new algorithm for streaming principal component analysis. With limited memory, small devices cannot store all the samples in the high-dimensional regime. Streaming principal component analysis aims to find the $k$-dimensional subspace which can explain the most variation of the $d$-dimensional data points that come into memory sequentially. In order to deal with large $d$ and large $N$ (number of samples), most streaming PCA algorithms update the current model using only the incoming sample and then dump the information right away to save memory. However the information contained in previously streamed data could be useful. Motivated by this idea, we develop a new streaming PCA algorithm called History PCA that achieves this goal. By using $O(Bd)$ memory with $B\approx 10$ being the block size, our algorithm converges much faster than existing streaming PCA algorithms. By changing the number of inner iterations, the memory usage can be further reduced to $O(d)$ while maintaining a comparable convergence speed. We provide theoretical guarantees for the convergence of our algorithm along with the rate of convergence. We also demonstrate on synthetic and real world data sets that our algorithm compares favorably with other state-of-the-art streaming PCA methods in terms of the convergence speed and performance.

研究の動機と目的

• 処理後に過去のデータを破棄する既存のストリーミングPCAアルゴリズムの収束が遅い問題に対処すること。
• 過去に処理したデータブロックから有用な情報を保持するメモリ効率の良いアルゴリズムを開発し、収束速度を向上させること。
• 履歴データを用いるストリーミングPCAアルゴリズムの理論的収束保証を提供し、頑健性とスケーラビリティを確保すること。
• ストリーミング制約下で、数十億のデータポイントを含む大規模実世界データセットにおいて、優れた性能を示すこと。
• ステップサイズの選定が必要なOjaのアルゴリズムのように、ハイパーパrameterのチューニングを必要としない、効果的なランク-k PCA計算を可能にすること。

提案手法

• データを小さなチャンク（サイズB）ごとに処理するブロックベースのストリーミングフレームワークを導入し、最新のブロックと過去データの低ランク近似のみを保存する。
• 過去データの情報を履歴に配慮した更新ルールを用いた再帰的更新メカニズムを用い、前回のブロックからの累積信号を活用することで収束を向上させる。
• ストリーミングデータとブロック処理に適応した、分散低減に類似した原理を応用した確率的最適化問題としてアルゴリズムを定式化する。
• メモリ使用量を柔軟に制御可能：B ≈ 10 であればメモリはO(Bd)、内部イテレーションを1回に減らすとO(d)に低下し、Ojaのアルゴリズムと同等のメモリ効率を達成するが、収束がはるかに速い。
• ステップサイズのチューニングを不要にするハイパーパrameterフリーな更新ルールを設計し、過去データと現在データに基づく安定化された再帰的更新を採用する。Ojaのアルゴリズムとは異なり、この手法ではハイパーパrameterの調整が不要である。
• コアとなる更新処理では、現在データと履歴データの両方を用いて共分散行列の低ランク近似を計算し、主成分部分空間を反復的に更新する。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングPCAにおける過去のデータを、メモリ使用量を著しく増加させることなく、効果的に再利用することで収束を高速化できるか？
• RQ2 履歴に配慮したストリーミングPCAアルゴリズムの収束速度は、合成データおよび実世界データ環境下でOjaのアルゴリズムやVR-PCAに比べてどの程度優れているか？
• RQ3 大規模データセット（特に高次元性を持つもの）において、1回のデータパスでほぼ最適な性能を達成できるストリーミングPCAアルゴリズムは実現可能か？
• RQ4 履歴を拡張したストリーミングPCAアルゴリズムの理論的収束レートは何か？ また、既存の境界を満たすか、それを上回るか？
• RQ5 ハイパーパrameterの細かなチューニングを必要とせずに、ランク-k PCA（k > 1）においても安定性と性能を維持できるか？

主な発見

• History PCAは、合成データおよび実世界データセットの両方で、OjaのアルゴリズムやVR-PCAよりも高速な収束を達成し、ブロックサイズやターゲットランクの変動に対しても一貫した性能を示す。
• RCV1およびKDDBデータセットでは、History PCAは1回のデータパスで誤差を10^-6未満にまで低下させ、パス数と実行時間の両面で他の手法を上回る。
• KDDBデータセット（1900万サンプル、2900万特徴量）においても、History PCAはVR-PCAを含む他のすべての手法よりも著しく高速に実行され、複数パスを必要としないにもかかわらず、優れた性能を発揮する。
• Ojaのアルゴリズムとは異なり、k > 1の状況でも高い安定性と性能を維持する。
• 内部イテレーションを1回にすることでO(d)のメモリ使用量に抑えられるが、この場合でもHistory PCAはOjaのアルゴリズムと同等のメモリ効率を達成しながら、はるかに速い収束を実現する。
• 1回目のデータパス終了後も、History PCAは解を継続的に改善する。これは、標準的なストリーミングアルゴリズムが1回のパスで改善を停止するのとは対照的である。