[論文レビュー] Rivalry of Two Families of Algorithms for Memory-Restricted Streaming PCA

Chunliang Li, Hsuan-Tien Lin+1 more|arXiv (Cornell University)|Jun 4, 2015

Stochastic Gradient Optimization Techniques参考文献 12被引用数 21

ひとこと要約

本稿では、メモリ制限下でのストリーミングPCAのための動的ブロックパワー法であるDBPCAを提案する。DBPCAは収束を高速化し、安定性を向上させるために、自動的にブロックサイズを調整する。本稿は、事前に誤差目標を指定しない一般のk>1の場合における確率的勾配降下法（SPCA）の収束速度解析を初めて提供する。また、実験的にDBPCAがSPCAおよびBPCAよりも顕著に優れたスペクトル誤差低減性能を示し、ハイパーパrameterの選択に対してより頑健であることを示している。

ABSTRACT

We study the problem of recovering the subspace spanned by the first $k$ principal components of $d$-dimensional data under the streaming setting, with a memory bound of $O(kd)$. Two families of algorithms are known for this problem. The first family is based on the framework of stochastic gradient descent. Nevertheless, the convergence rate of the family can be seriously affected by the learning rate of the descent steps and deserves more serious study. The second family is based on the power method over blocks of data, but setting the block size for its existing algorithms is not an easy task. In this paper, we analyze the convergence rate of a representative algorithm with decayed learning rate (Oja and Karhunen, 1985) in the first family for the general $k>1$ case. Moreover, we propose a novel algorithm for the second family that sets the block sizes automatically and dynamically with faster convergence rate. We then conduct empirical studies that fairly compare the two families on real-world data. The studies reveal the advantages and disadvantages of these two families.

研究の動機と目的

• 事前に誤差目標を指定しない一般のk>1の場合におけるストリーミングPCAのための確率的勾配降下法（SPCA）の収束速度を分析すること。
• ブロックパワー法における手動によるブロックサイズ選択の課題に取り組み、収束性と安定性に影響を与えること。
• 収束速度と安定性を向上させるために、ブロックサイズを自動的に調整する新しい動的ブロックパワー法であるDBPCAを提案すること。
• O(kd)のメモリ制約下で、実世界のデータを用いてDBPCAをSPCAおよびBPCAと公平に比較し、主にスペクトル誤差低減に注目すること。

提案手法

• OjaとKarhunen（1985）が提唱した古典的なSPCAアルゴリズム（k>1の場合）の収束速度解析を提案し、事前に誤差目標を指定しない条件下でも理論的保証を確立する。
• 初期段階の改善と長期的収束のバランスを取るために、時間とともにブロックサイズを増加させる動的ブロックパワー法であるDBPCAを導入する。
• 推定された固有値ギャップに基づき、各ブロックで誤差低減が高確率で達成されるように、確率的更新ルールを採用する。
• メモリ効率を高めるために、標本共分散行列積のブロックベース近似を用い、パワー法を模倣する。
• 推定されたスペクトルギャップと誤差の減衰に基づくしきい値を用いて、手動チューニングを回避する動的ブロックサイズ選択を実施する。
• 主に再構成誤差よりも部分空間の正確さに敏感なスペクトル誤差を主評価指標として採用する。

実験結果

リサーチクエスチョン

• RQ1 k>1の場合に、事前に誤差目標を指定しないSPCAの収束速度を理論的に解析できるか？
• RQ2 SPCAの性能は学習率パラメータcにどのように依存するか？また、ハイパーパrameterの選択に対してより頑健にできるか？
• RQ3 収束速度と安定性を向上させるために、ブロックサイズを自動的に調整するブロックパワー法を設計できるか？
• RQ4 実世界のデータセットを用いた実験において、DBPCAとSPCAのスペクトル誤差低減性能はどのように比較できるか？
• RQ5 ブロックサイズの選択が、ストリーミングPCAにおけるブロックパワー法の収束行動と安定性に与える影響は何か？

主な発見

• t検定（95％信頼水準）による分析では、8つの実験ケースのうち6つでDBPCAがBPCAを有意に上回り、誤差低減がより高速かつ安定している。
• 8つのケースのうち6つで、DBPCAはSPCAよりも低いスペクトル誤差に収束しており、収束速度と頑健性の優位性が示された。
• SPCAは学習率パラメータcに極めて敏感であり、異なるcの値やkの設定によって性能が著しく変動する。
• BPCAの性能はブロックサイズLに強く依存しており、最適でない選択は収束の遅延や停滞を引き起こし、実行ごとの結果も不安定である。
• DBPCAは各更新後に安定した誤差低減を達成しており、高確率で誤差低減が保証されるという理論的保証と整合的である。
• 実験結果から、理論的下界γ²は改善可能である可能性が示唆されており、実際の実験ではγ²を大きくとることで性能が向上する。