[論文レビュー] Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off

Bharath K. Sriperumbudur, Nicholas Sterge|arXiv (Cornell University)|Jun 20, 2017

Sparse and Compressive Sensing Techniques参考文献 42被引用数 14

ひとこと要約

本稿では、ランダム特徴を用いてデータを有限次元空間に射影することにより、計算効率と統計的一致性の両方を達成するカーネルPCA（RF-EKPCA）のランダム特徴近似を提案する。RF-EKPCAが最小最大最適収束速度を達成することを確立し、固有空間への射影によるカーネル関数の再構築における計算コストと統計的誤差のバランスをとる。

ABSTRACT

Kernel methods are powerful learning methodologies that allow to perform non-linear data analysis. Despite their popularity, they suffer from poor scalability in big data scenarios. Various approximation methods, including random feature approximation, have been proposed to alleviate the problem. However, the statistical consistency of most of these approximate kernel methods is not well understood except for kernel ridge regression wherein it has been shown that the random feature approximation is not only computationally efficient but also statistically consistent with a minimax optimal rate of convergence. In this paper, we investigate the efficacy of random feature approximation in the context of kernel principal component analysis (KPCA) by studying the trade-off between computational and statistical behaviors of approximate KPCA. We show that the approximate KPCA is both computationally and statistically efficient compared to KPCA in terms of the error associated with reconstructing a kernel function based on its projection onto the corresponding eigenspaces. The analysis hinges on Bernstein-type inequalities for the operator and Hilbert-Schmidt norms of a self-adjoint Hilbert-Schmidt operator-valued U-statistics, which are of independent interest.

研究の動機と目的

• 大規模データ環境におけるカーネルPCA（KPCA）のスケーラビリティの制限を解消すること、ここで計算複雑度はO(n³)に比例する。
• ランダム特徴マップを用いた近似KPCAにおける計算効率と統計的精度のトレードオフを調査すること。
• ランダム特徴に基づくKPCAの統計的一致性および収束速度に関する理論的保証を確立すること。
• 近似共分散作用素の固有空間を用いたカーネル関数再構築の誤差バウンドを導出すること。
• 自己随伴ヒルベルト＝シュミット作用素値U統計量の作用素ノルムおよびヒルベルト＝シュミットノルムに対する新しいベルンシュタイン型不等式を導出すること。これは独立に理論的関心を持つ。

提案手法

• ランダムフーリエ特徴または類似構成を用いて、無限次元特徴写像Φ(x) = k(·,x)を有限次元ランダム特徴写像Φₘ(x) ∈ ℝᵐに近似する。
• 実現共分散作用素Σ̂を、写像されたデータ(Φₘ(Xᵢ))ₙᵢ₌₁から計算されるランダム特徴近似Σ̂ₘに置き換える。
• 有限次元データ(Φₘ(Xᵢ))に対して標準的な線形PCAを実行し、Σ̂ₘの固有系を計算することで、時間計算量をO(m²ℓ + m²n)に低減する。
• 真の共分散作用素Σとその近似Σₘの上位ℓ固有空間への射影によるカーネル関数再構築誤差を分析する。
• 作用素ノルムおよびヒルベルト＝シュミットノルムを用いて、真の固有空間と近似固有空間の差の高確率バウンドを導出する。
• 自己随伴ヒルベルト＝シュミット作用素値U統計量に対する新しいベルンシュタイン型不等式を確立し、ΣₘとΣの乖離を非漸近的に制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダム特徴近似は、カーネル関数再構築の観点から、カーネルPCAの統計的精度にどのように影響を与えるか？
• RQ2 近似KPCAにおける計算コスト（mに依存）と統計的誤差（nおよびスペクトル減衰に依存）のトレードオフは何か？
• RQ3 ランダム特徴近似は、カーネルPCAにおいて最小最大最適収束レートを達成できるか？
• RQ4 共分散作用素のスペクトル減衰に応じた固有空間近似の非漸近的誤差バウンドは何か？
• RQ5 真の共分散作用素と近似共分散作用素の作用素ノルム差を分析するために使用可能な新しい集中不等式は存在するか？

主な発見

• ランダム特徴によるカーネルPCA（RF-EKPCA）は、計算的に効率的かつ統計的に一貫しており、最小最大最適収束速度を達成する。
• 近似共分散作用素Σₘの上位ℓ固有空間への射影に基づくカーネル関数再構築誤差は、弱い仮定のもとでO(1/√m)で有界である。
• 誤差バウンドはs ∈ [−2, 0)に対してO((∑ᵢ>ℓ λᵢ²⁻ˢ)¹ᐟ²⁻ˢ)のスケーリングを示し、m ≳ (∑ᵢ>ℓ λᵢ²⁻ˢ)²ᐟˢのときこのレートは最小最大最適である。
• 本稿では、自己随伴ヒルベルト＝シュミットU統計量の作用素ノルムおよびヒルベルト＝シュミットノルムに対する新しいベルンシュタイン型不等式を導出しており、ΣₘとΣの乖離を制御するために不可欠である。
• 理論的分析により、近似誤差が最小最大下界と一致するレートで減少することが示され、統計的最適性が確認される。
• 本手法は、望ましいトレードオフを達成する：m < √(nℓ)のとき、計算コストはO(n²ℓ)からO(m²ℓ + m²n)に低減されつつ、統計的精度を維持する。