[論文レビュー] Streaming Kernel Principal Component Analysis

Mina Ghashami, Daniel J. Perry+1 more|arXiv (Cornell University)|Dec 16, 2015

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、ランダム特徴マップとマトリクススケッチを用いて、小さな対数的空間の基底ベクトル集合を維持することで、ストリーミング型カーネル主成分分析（KPCA）手法であるSKPCAを提案する。スペクトルノルム誤差バウンドにおいて、誤差パラメータに依存する要因を改善し、テスト時の実行時間において最先端の手法を上回りつつ、精度と空間効率において同等またはそれを上回る性能を達成する。

ABSTRACT

Kernel principal component analysis (KPCA) provides a concise set of basis vectors which capture non-linear structures within large data sets, and is a central tool in data analysis and learning. To allow for non-linear relations, typically a full $n imes n$ kernel matrix is constructed over $n$ data points, but this requires too much space and time for large values of $n$. Techniques such as the Nyström method and random feature maps can help towards this goal, but they do not explicitly maintain the basis vectors in a stream and take more space than desired. We propose a new approach for streaming KPCA which maintains a small set of basis elements in a stream, requiring space only logarithmic in $n$, and also improves the dependence on the error parameter. Our technique combines together random feature maps with recent advances in matrix sketching, it has guaranteed spectral norm error bounds with respect to the original kernel matrix, and it compares favorably in practice to state-of-the-art approaches.

研究の動機と目的

• 大規模なnに対してn×nのカーネル行列を保存する必要がある伝統的なカーネルPCAの高コストな空間的・時間的複雑性に対処すること。
• 完全なカーネル行列の計算を回避し、リアルタイムで基底ベクトルを維持するストリーミングアルゴリズムを構築すること。
• スペクトルノルムおよびフロベニウスノルム誤差バウンドにおける誤差パラメータεへの依存性を改善すること。
• 新しいデータポイントをカーネル特徴空間に写像する際のテスト時間コストを低く抑えること。
• ランダム特徴マップとマトリクススケッチを組み合わせることで、保証された正確性、効率性、スケーラビリティを備えたストリーミング型KPCAソリューションを実現すること。

提案手法

• 本手法は、カーネル誘導型再生核ヒルベルト空間（RKHS）を有限次元のユークリッド空間に埋め込むためにランダム特徴マップを用いる。
• マトリクススケッチ技術を適用して、ストリーミング形式でカーネル行列の低ランク近似を維持し、空間コストをO(m log n)に削減する。ここでmはランダム特徴の数である。
• 特徴空間におけるデータのスケッチを維持し、スケッチに対してオンラインSVDを実行して主成分を抽出する。
• スペクトルノルム誤差の保証を維持しながら、データを低次元空間に射影するための確率的次元削減手法を用いる。
• 本手法はインクリメンタルな更新をサポートする：新しいデータポイントは特徴空間に写像され、再計算なしにスケッチが更新される。
• 最終的な表現は、写像されたデータを上位ℓ個の主成分に射影することで得られ、テスト時の推論を効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 nの対数的空間複雑性O(log n)で基底ベクトルを維持できるストリーミング型KPCAアルゴリズムを設計できるか？
• RQ2 既存手法と比較して、スペクトルノルム誤差バウンドにおける誤差パラメータεへの依存性をより厳密にできるか？
• RQ3 ランダム特徴マップとマトリクススケッチを組み合わせることで、Nyström法やランダム特徴マップベースの手法と比較して、より優れたテスト時間性能が得られるか？
• RQ4 異なるデータ分布やカーネルタイプにおいて、本手法は精度と効率性の点でどのように比較されるか？
• RQ5 大規模なストリーミングデータに対して、リアルタイムでの更新を可能にしながら、保証された誤差バウンドを維持できるか？

主な発見

• SKPCAは、ランダム特徴の数mを用いて、O(m log n)の空間複雑性を達成し、全カーネル行列保存のO(n²)と比較して格段にストレージを削減する。
• 本手法は、||G - G'||₂ / n ≤ εの形をした保証付きスペクトルノルム誤差バウンドを提供し、先行手法と比較してεへの依存性が改善されている。
• テスト時の推論において、SKPCAは1データポイントあたりO(dm)の時間で処理可能であり、一部のケースではNyström法（O(cd + c²)）やRNCA法（O(dm)）と比較して、桁違いに高速である。
• CPU、Adult、Forestデータセットにおける実験では、特に小規模なサンプルサイズにおいて、RNCA法やNyström法と同等またはそれ以上のフロベニウスノルムおよびスペクトルノルム誤差を達成した。
• SKPCAは訓練時間のパフォーマンスにおいて優れた性能を示し、O(n m²)の外積計算を回避することで、RNCA法に顕著な優位性を示した。
• 本手法はさまざまなデータ分布に対して頑健であり、信号対雑音比が低い状況でも誤差の増加が最小限に抑えられた。