[論文レビュー] Relative Error Embeddings for the Gaussian Kernel Distance

Di Chen, Jeff M. Phillips|arXiv (Cornell University)|Feb 17, 2016

Gaussian Processes and Bayesian Inference参考文献 14被引用数 4

ひとこと要約

この論文は、ガウスカーネル距離の近似におけるランダムフーリエ特徴量（RFF）のタイトな相対誤差バウンドを確立する。$O((1/\varepsilon^{2})\log n)$次元が $n$ 個の点に対して十分であり、有界な直径をもつデータに対しては $O((d/\varepsilon^{2})\log \mathcal{M})$ が十分である。実験的検証により、バンド幅にわたる安定した相対誤差と、特徴量の増加に伴う誤差の減少が確認された。

ABSTRACT

A reproducing kernel can define an embedding of a data point into an infinite dimensional reproducing kernel Hilbert space (RKHS). The norm in this space describes a distance, which we call the kernel distance. The random Fourier features (of Rahimi and Recht) describe an oblivious approximate mapping into finite dimensional Euclidean space that behaves similar to the RKHS. We show in this paper that for the Gaussian kernel the Euclidean norm between these mapped to features has $(1+\varepsilon)$-relative error with respect to the kernel distance. When there are $n$ data points, we show that $O((1/\varepsilon^2) \log(n))$ dimensions of the approximate feature space are sufficient and necessary. Without a bound on $n$, but when the original points lie in $\mathbb{R}^d$ and have diameter bounded by $\mathcal{M}$, then we show that $O((d/\varepsilon^2) \log(\mathcal{M}))$ dimensions are sufficient, and that this many are required, up to $\log(1/\varepsilon)$ factors.

研究の動機と目的

• ガウスカーネル距離における相対誤差を保持するためのランダムフーリエ特徴量の数の理論的バウンドを確立すること。
• 従来の研究におけるギャップを埋めるために、$n$ が無限大であってもすべての点対に対して一様に成り立つバウンドを提供すること。
• 内積だけでなく、完全なカーネル距離メトリックに対しても相対誤差が保持されることを示すこと。
• 実験的に、カーネルPCAおよびペairwise距離近似の応用において、相対誤差がバンド幅にわたって安定し、特徴量の増加に伴い減少することを検証すること。

提案手法

• 等方的ガウス周波数 $\omega_i \sim \mathcal{N}_d(0, \sigma^{-2})$ とランダムな位相シフト $\gamma_i \sim \text{Unif}(0, 2\pi)$ を用いたランダムフーリエ特徴量（RFF）の使用。
• 期待値においてカーネル内積を保持する $\hat{\phi}$ マッピングを用い、$\cos(\omega_i^T x)$ と $\sin(\omega_i^T x)$ のペアを採用。
• 集中不等式とチェイニングの議論を用いて、相対誤差 $|D_K(x,y) - \|\hat{\phi}(x) - \hat{\phi}(y)\|| / D_K(x,y)$ をバウンド。
• 被覆議論とメトリックエントロピーを用いて次元のバウンドを導出し、$\log(1/\varepsilon)$ 要素までタイトであることを示す。
• USPSデータにおけるカーネルPCAと、$\|x-y\|/\sigma$ を変化させたペairwise距離のシミュレーションを用いて結果を実験的に検証。
• カーネルPCAの残差に対しては相対誤差を $|\hat{R}_k / R_k - 1|$ として測定し、ペairwise距離に対しては $\varepsilon_{\text{max}} = \max_i |D_K(x_i,y_i)/\|\hat{\phi}(x_i)-\hat{\phi}(y_i)\| - 1|$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 すべての $n$ 個の点対に対して $(1\pm\varepsilon)$-相対誤差を保証するためのランダムフーリエ特徴量の最小数は何か？
• RQ2 $n$ が無限大である場合、データ次元 $d$、直径 $\mathcal{M}$、および $\varepsilon$ に対して、必要な特徴量次元はどのようにスケーリングされるか？
• RQ3 非常に小さな $\|x-y\|$ をもつ点対を含め、すべての点対に対して相対誤差が一様に保持されるか？
• RQ4 実用的応用（例：カーネルPCA）において、バンド幅 $\sigma$ にわたって相対誤差が安定し、特徴量数 $t$ の増加に伴い減少するか？

主な発見

• $n$ 個のデータポイントに対して、$O((1/\varepsilon^2)\log n)$ 次元のRFF空間が、カーネル距離における $(1+\varepsilon)$-相対誤差を達成するのに十分かつ必要である。
• $n$ が無限大であっても、データが $\mathbb{R}^d$ にあり直径が $\mathcal{M}$ で有界である場合、$O((d/\varepsilon^2)\log \mathcal{M})$ 次元が十分かつ必要であり、$\log(1/\varepsilon)$ 要素の誤差を除いてタイトである。
• 実験的結果から、カーネルPCAの残差誤差における相対誤差は $t$ に対して2乗的に減少し、さまざまな $\sigma$ 値において安定している。
• 最大相対誤差 $\varepsilon_{\text{max}}$ は $\sqrt{t}$ に反比例してスケーリングされ、理論的 $O(1/\varepsilon^2)$ の依存関係を確認した。
• $\|x-y\|/\sigma \ll 1$ であっても、相対誤差が小さな定数で有界であることが示され、高密度領域におけるロバストネスを裏付けた。
• 理論的および実験的結果から、RFFが内積だけでなく、完全なカーネル距離に対してもタイトな相対誤差近似を提供することが確認された。