[論文レビュー] Provably Useful Kernel Matrix Approximation in Linear Time.

Cameron Musco, Christopher Musco|arXiv (Cornell University)|May 24, 2016

Tensor decomposition and applications被引用数 5

ひとこと要約

本論文は、カーネルPCA、k-means、リッジ回帰、CCAといった後続のタスクに対して、保証付きの性能を備えた最初の線形時間のカーネル行列近似アルゴリズムを提示する。リッジリーダンススコアのネストルム（RLS-Nyström）の高速再帰的サンプリング法を導入し、$\tilde{O}(n \times k)$のカーネル評価と$\tilde{O}(n \times k^2)$の実行時間で実現。カーネルの正則性に関する仮定は一切不要である。

ABSTRACT

We give the first algorithms for kernel matrix approximation that run in time linear in the number of data points and output an approximation which gives provable guarantees when used in many downstream learning tasks, including kernel principal component analysis, kernel $k$-means clustering, kernel ridge regression, and kernel canonical correlation analysis. Our methods require just $ ilde O(n\cdot k)$ kernel evaluations and $ ilde O(n \cdot k^2)$ additional runtime, where $n$ is the number of training data points and $k$ is a target rank or effective dimensionality parameter. These runtimes are significantly sub-linear in the size of the $n imes n$ kernel matrix and apply to any kernel matrix, without assuming regularity or incoherence conditions. The algorithms are based on a ridge leverage score Nystr\om sampling scheme (RLS-Nystr\om) which was recently shown to yield strong kernel approximations, but which had no efficient implementation. We address this shortcoming by introducing fast recursive sampling methods for RLS-Nystr\om, while at the same time proving extended approximation guarantees for this promising new method.

研究の動機と目的

• データサイズに線形にスケールする、効率的かつ保証付きの正確なカーネル行列近似アルゴリズムの欠如に対処すること。
• カーネル行列構築の計算コストを低減することで、大規模な学習におけるカーネル法の実用的導入を可能にすること。
• カーネルの正則性や非一貫性に関する仮定を必要としない、RLS-Nyströmサンプリングの理論的保証を提供すること。
• 強力な近似品質を維持しながら、RLS-Nyströmの効率的実装を可能にする再帰的サンプリングスキームの開発

提案手法

• 本手法は、カーネル行列近似のためのアンカー点選択に、リッジリーダンススコアのネストルム（RLS-Nyström）サンプリング方式を採用する。
• 線形時間でリッジリーダンススコアを効率的に計算できる再帰的サンプリング戦略を導入する。
• アルゴリズムは$\tilde{O}(n \times k)$のカーネル評価と$\tilde{O}(n \times k^2)$の追加計算を実行し、データサイズに対して線形実行時間となる。
• 本アプローチはカーネルに依存しない（非一貫性や正則性といった構造的仮定を必要としない）。
• 理論的分析により、RLS-Nyströmの近似保証が拡張され、複数のカーネル学習タスクで優れた性能を示すことが示された。

実験結果

リサーチクエスチョン

• RQ1 データサイズに線形にスケールするが、強力な理論的保証を備えたカーネル行列近似アルゴリズムを設計できるか？
• RQ2 近似品質を損なわず、スケールに応じてRLS-Nyströmサンプリングを効率的に実装できるか？
• RQ3 提案手法が、カーネルPCA やカーネルリッジ回帰のような多様な後続のカーネル手法に対して、保証付きの性能を提供するか？
• RQ4 カーネル構造や正則性に関する仮定なしに、本アルゴリズムを任意のカーネル行列に適用できるか？

主な発見

• 提案されたアルゴリズムは、$\tilde{O}(n \times k)$のカーネル評価と$\tilde{O}(n \times k^2)$の実行時間で実現され、データポイント数に対して線形にスケールする。
• 本手法は、カーネルPCA、カーネル$k$-means、カーネルリッジ回帰、カーネルCCAに対して、保証付きの近似性能を提供する。
• 再帰的サンプリング技術により、RLS-Nyströmの実装における主要なボトル neck を克服できる。
• 非一貫性や正則性条件を必要としないため、任意のカーネル行列に普遍的に適用可能である。