[論文レビュー] Scale Up Nonlinear Component Analysis with Doubly Stochastic Gradients

Bo Xie, Yingyu Liang+1 more|arXiv (Cornell University)|Apr 14, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用数 17

ひとこと要約

本稿では、確率的データサンプリングとランダム特徴量近似を組み合わせることで、カーネルPCAやCCAのような非線形成分分析をスケーリングする二重確率的勾配法を提案する。明示的な直交化を必要とせず、有限時間収束レート $ ilde{O}(1/t)$ を達成することで、数百万点の大型データセットにおいて効率的でメモリ効率の良い学習が可能になる。

ABSTRACT

Nonlinear component analysis such as kernel Principle Component Analysis (KPCA) and kernel Canonical Correlation Analysis (KCCA) are widely used in machine learning, statistics and data analysis, but they can not scale up to big datasets. Recent attempts have employed random feature approximations to convert the problem to the primal form for linear computational complexity. However, to obtain high quality solutions, the number of random features should be the same order of magnitude as the number of data points, making such approach not directly applicable to the regime with millions of data points. We propose a simple, computationally efficient, and memory friendly algorithm based on the "doubly stochastic gradients" to scale up a range of kernel nonlinear component analysis, such as kernel PCA, CCA and SVD. Despite the \emph{non-convex} nature of these problems, our method enjoys theoretical guarantees that it converges at the rate $ ilde{O}(1/t)$ to the global optimum, even for the top $k$ eigen subspace. Unlike many alternatives, our algorithm does not require explicit orthogonalization, which is infeasible on big datasets. We demonstrate the effectiveness and scalability of our algorithm on large scale synthetic and real world datasets.

研究の動機と目的

• 数百万のデータポイントを含む大規模データセットにおいて、KPCA や KCCA のようなカーネルベースの非線形成分分析手法のスケーラビリティの制限を克服すること。
• すべてのデータポイントを保持する必要があるため、バッチ手法や標準的な確率的勾配アプローチに見られるメモリおよび計算上のボトル neck を克服すること。
• 大規模なカーネル手法では実行不可能なため、明示的な直交化を回避する手法を開発すること。
• 二重確率的フレームワークの下で、非凸なカーネル成分分析問題に対する理論的収束保証を提供すること。
• 新しいデータの到着に応じてランダム特徴量の数を動的に増やすことで、モデルの複雑さを適応的に増やすこと。

提案手法

• 全バッチおよび全カーネル計算の代わりに、同時にランダムなデータポイントとランダムな特徴量をサンプリングすることで二重確率的勾配を用いる。
• 線形計算複雑度を達成するために、明示的なランダム特徴量マッピングを用いたプライマル形式最適化を採用する。
• 明示的な直交化を必要とせず、トップ-k固有部分空間を推定するために確率的パワー反復更新を適用する。
• 固定された乱数シードを用いてランダム特徴量を再生成することで、トレーニングデータの保存を避けることにより、小さなメモリフットプリントを維持する。
• 各イテレーションでデータポイントの小さなサブセットに対してランダム特徴量を評価するミニバッチ更新を用いる。
• 理論的分析は、集中不等式を用いた確率的勾配における近似誤差のバウンディングと、再帰的誤差伝播の解析に依存する。

実験結果

リサーチクエスチョン

• RQ1 二重確率的勾配は、KPCA や KCCA のような非凸なカーネル成分分析問題に効果的に適用可能か？
• RQ2 問題の非凸性にもかかわらず、提案手法は有限時間内にグローバル最適解に収束するか？
• RQ3 数百万のデータポイントを含むデータセットにスケーリング可能であり、低メモリ使用量と高い精度を維持できるか？
• RQ4 明示的な直交化が欠如している場合、大規模な設定における収束性とパフォーマンスにどのような影響を与えるか？
• RQ5 データの増加に応じてランダム特徴量の数を増やすことで、モデルの複雑さを動的に増加させられるか？

主な発見

• 提案手法は、非凸な設定下でもトップ-k固有部分空間に対して有限時間収束レート $ ilde{O}(1/t)$ を達成し、グローバル最適解に収束する。
• 明示的な直交化を必要とせず、大規模なカーネル手法では計算的に不可能なため、これにより収束が可能になる。
• アルゴリズムは数百万のデータポイントを含むデータセットにスケーリング可能であり、合成データおよび実世界のデータの両方で優れた実験的性能を示す。
• ランダム特徴量の数を動的に増やすことができ、ストリーミングデータ環境における非パrametricな柔軟性を提供する。
• 理論的分析により、期待誤差が $ ilde{O}(1/t)$ に減少することが確認され、$1 - c_t^2 = O(\frac{1}{t} \ln \frac{t}{\delta})$ と示され、真の部分空間への高速収束が裏付けられる。
• 実験結果から、固定特徴量ベースラインと比較して、より多くのランダム特徴量を使用することで著しく優れた解が得られることを示している。