[論文レビュー] AdaOja: Adaptive Learning Rates for Streaming PCA

Amelia Henriksen, Rachel Ward|arXiv (Cornell University)|May 28, 2019

Stochastic Gradient Optimization Techniques参考文献 26被引用数 16

ひとこと要約

AdaOja は、Oja のストリーミング PCA アルゴリズムにおける適応的学習率スキームを提案し、手動によるハイパーパramータチューニングの必要性を排除する。Adagrad にインspiredされた適応的ステップサイズを統合することで、合成データおよびスパース・ドメインにわたる実世界のデータセットにおいて、複数回のパス走行や事前データ知識を必要とせずに、最先端の手法と同等の収束性と性能を達成する。

ABSTRACT

Oja's algorithm has been the cornerstone of streaming methods in Principal Component Analysis (PCA) since it was first proposed in 1982. However, Oja's algorithm does not have a standardized choice of learning rate (step size) that both performs well in practice and truly conforms to the online streaming setting. In this paper, we propose a new learning rate scheme for Oja's method called AdaOja. This new algorithm requires only a single pass over the data and does not depend on knowing properties of the data set a priori. AdaOja is a novel variation of the Adagrad algorithm to Oja's algorithm in the single eigenvector case and extended to the multiple eigenvector case. We demonstrate for dense synthetic data, sparse real-world data and dense real-world data that AdaOja outperforms common learning rate choices for Oja's method. We also show that AdaOja performs comparably to state-of-the-art algorithms (History PCA and Streaming Power Method) in the same streaming PCA setting.

研究の動機と目的

• ストリーミング PCA の文脈で実用的かつオンライン・シングルパス制約を満たす、標準的で効果的な学習率選択法の欠如に対処すること。
• 複数回のデータパスを必要とする、ηₜ = c/t や ηₜ = c/√t のような定数 c の手動によるハイパーパramータチューニングの必要性を排除すること。
• 1回のパス中にリアルタイムでデータ特性に適応する、シンプルで実装可能かつロバストな学習率スキームを設計すること。
• 提案された適応的スキームが、最適な学習率を用いた標準的 Oja の手法および最先端のストリーミング PCA アルゴリズムを上回るか同等の性能を発揮することを示すこと。

提案手法

• Adagrad アルゴリズムの適応的学習率メカニズムを、Oja の手法における単一固有ベクトルケースに適応し、複数固有ベクトルケースへ拡張する。
• 各座標ごとの適応的学習率を用い、累積勾配ノルムの逆平方根に従って増加させることで、手動チューニングを回避する。
• 各更新後に射影ステップを適用し、部分空間基底の正規直交性を維持することで、真の主成分への収束を保証する。
• シングルパス・ストリーミング更新ルール Wₜ = (I + ηₜxₜxₜᵀ)Wₜ₋₁ を採用し、その後 QR分解を実行して正規直交性を強制する。
• バッチサイズの選択に強く、スパarsityに頑健な、適応的ステップサイズを備えた標準的パワー法の変種を導入する。
• 学習率を ηₜ = 1 / √(∑ᵢ₌₁ᵗ ||xᵢ||²) として導出する。これは、時間の経過とともにデータのエネルギー成長に適応する。

実験結果

リサーチクエスチョン

• RQ1 Oja の手法に適応的学習率スキームを設計でき、ストリーミング PCA における手動によるハイパーパramータチューニングの必要性を排除できるか？
• RQ2 提案された適応的学習率は、ηₜ = c/t や ηₜ = c/√t のような固定率スキームと比較して、収束速度および最終的な説明される分散を向上させるか？
• RQ3 History PCA や Streaming Power Method といった最先端のシングルパス・ストリーミング PCA アルゴリズムと比較して、AdaOja はどのように性能を発揮するか？
• RQ4 データのスパarsity、ノイズレベル、バッチサイズの変動に対して、適応的学習率はロバストか？
• RQ5 複数回のデータパスを必要とせずに、オフライン PCA と同等の性能を達成できるか？

主な発見

• AdaOja は合成データおよび実世界データにおいて、一般的な固定学習率（例：ηₜ = c/t、ηₜ = c/√t）を上回り、より高い説明される分散と高速な収束を達成する。
• 密度の高い CIFAR-10 データセットでは、AdaOja は History PCA (HPCA) と同等の説明される分散を達成し、特にバッチサイズが小さい場合（B=10）に Streaming Power Method (SPM) を上回る。
• スパースな bag-of-words データセット（例：Enron, Nips, Kos）では、AdaOja は HPCA と同等またはわずかに優れた性能を示し、異なるバッチサイズでも一貫性のある性能を発揮する。
• 中程度のスパースデータセット（例：PubMed, NYT）では、AdaOja は HPCA をわずかに上回り、現実世界のデータに適応するロバスト性と柔軟性を示す。
• ノイズの多いスパイク付き共分散モデルでは、AdaOja は強力な性能を維持し、特に B=100 の設定でノイズが増加する中で HPCA よりも高い説明される分散を達成する。
• k の値（1 および 10）およびバッチサイズ（10, 100, 1000）の異なる設定においても、AdaOja の性能は安定的かつ一貫しており、ハイパーパramータおよびデータ構成の変更に耐性があることが示された。