[論文レビュー] On the Error of Random Fourier Features

Danica J. Sutherland, Jeff Schneider|arXiv (Cornell University)|Jun 9, 2015

Gaussian Processes and Bayesian Inference参考文献 24被引用数 37

ひとこと要約

この論文は、ランダムフーリエ特徴量における近似誤差について厳密な分析を提供し、一様誤差バインディングを改善するとともに、ガウスカーネルに対してより広く使われている$\tilde{z}$埋め込み（正弦および余弦のペアを用いるもの）が、位相シフト付き余弦を用いる$\breve{z}$埋め込みよりも厳密に低い分散を持つことを明らかにした。著者らはよりタイトな集中限界を導出し、$O(1/\sqrt{D})$の収束レートを確立し、実験的に$\tilde{z}$が実際の応用において優れた近似品質とより速い収束を示すことを検証した。

ABSTRACT

Kernel methods give powerful, flexible, and theoretically grounded approaches to solving many problems in machine learning. The standard approach, however, requires pairwise evaluations of a kernel function, which can lead to scalability issues for very large datasets. Rahimi and Recht (2007) suggested a popular approach to handling this problem, known as random Fourier features. The quality of this approximation, however, is not well understood. We improve the uniform error bound of that paper, as well as giving novel understandings of the embedding's variance, approximation error, and use in some machine learning methods. We also point out that surprisingly, of the two main variants of those features, the more widely used is strictly higher-variance for the Gaussian kernel and has worse bounds.

研究の動機と目的

• シフト不変カーネルに対するランダムフーリエ特徴量近似の誤差に関する包括的な理論的分析を提供すること。
• $\tilde{z}$と$\breve{z}$というランダムフーリエ特徴量の2つの主要な変種を、分散、近似誤差、収束特性の観点から比較すること。
• ラヒミとレーチ（2007）の均一誤差バインディングを改善し、定数をタイトにし、最大誤差の新たな指数的集中限界を提供すること。
• 近似誤差が、カーネルリッジ回帰や最大平均差分（MMD）推定を含む下流の機械学習手法に与える影響を評価すること。
• 理論的発見の実験的検証を行い、$\tilde{z}$がより一般的に使われていないにもかかわらずガウスカーネルに対して優れていることを示すこと。

提案手法

• ボッヘナーの定理とカーネルのフーリエ変換の特性関数を用いて、ランダムフーリエ特徴量近似の分散を導出する。
• マクディアーミドの不等式を用いて一様誤差バインディングを確立し、先行研究よりもタイトな定数を達成し、最大誤差の平均まわりの指数的集中を証明する。
• $L_2$収束を近似誤差について分析し、ガウスカーネルに対して$\tilde{z}$がより低い期待誤差を持つことを示す。
• 数値積分を用いて期待最大誤差の理論的バインディングを評価し、実測結果と比較する。
• カーネルリッジ回帰とMMD推定に対する実験的評価を実施し、埋め込み次元$D$を変化させた場合の$\tilde{z}$と$\breve{z}$の性能を比較する。
• 平均二乗誤差にマクディアーミドのバインディングを適用し、誤差の実験的減少率と理論的予測を比較する。

実験結果

リサーチクエスチョン

• RQ1 ガウスカーネルに対して、$\tilde{z}$と$\breve{z}$のどちらのランダムフーリエ特徴量変種が低い分散を持つのか。
• RQ2 ランダムフーリエ特徴量の均一誤差バインディングをタイトにできるか。一般化に与える影響は何か。
• RQ3 ランダムフーリエ特徴量の近似誤差は、カーネルリッジ回帰やMMD推定といった下流の学習手法の性能にどのように影響を与えるか。
• RQ4 期待最大誤差の真の収束レートは何か。理論的バインディングと比較するとどうか。
• RQ5 埋め込み変種の選択が誤差の実験的減少率に影響を与えるか。もし与えるなら、どちらがより速く収束するか。

主な発見

• $\tilde{z}$埋め込みはガウスカーネルに対して$\breve{z}$よりも厳密に低い分散を持つため、近似品質の観点で優れている。
• この論文は、ラヒミとレーチ（2007）の均一誤差バインディングをタイトにし、定数を改善するとともに、最大誤差の指数的集中限界を提供した。
• $\tilde{z}$の期待$ L_2 $誤差は$ O(1/D) $であるが、$\breve{z}$のそれは$ O(1/D) $であるが、定数がより大きい。これにより$\tilde{z}$の優位性が確認された。
• 実験的評価により、期待最大誤差は$ O(1/\sqrt{D}) $の割合で減少し、両埋め込みに対して理論的予測と整合する勾配を示した。
• MMD推定における平均絶対誤差は$ O(1/\sqrt{D}) $で減少し、実験的指数は$-0.5$に近く、理論的収束レートを確認した。
• マクディアーミドのバインディングは減少率の乗数定数を過大評価しているが、実験的減少率は理論的$ O(1/\sqrt{D}) $スケーリングと一致した。