[論文レビュー] Optimal Rates for Random Fourier Features

Bharath K. Sriperumbudur, Zoltán Szabó|arXiv (Cornell University)|Jun 6, 2015

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 49

ひとこと要約

本稿は、シフト不変カーネルの近似に用いられるランダムフーリエ特徴量（RFF）の、有限標本における最適レートの理論的分析を初めて提供する。RFFがコンpact集合上での一様ノルムにおいて最適収束レート $ m^{-1/2} $ を達成することを確立し、$ L^r $ ノルムにおける保証も提供するとともに、導関数の近似に関する理論的境界を分析している。

ABSTRACT

Kernel methods represent one of the most powerful tools in machine learning to tackle problems expressed in terms of function values and derivatives due to their capability to represent and model complex relations. While these methods show good versatility, they are computationally intensive and have poor scalability to large data as they require operations on Gram matrices. In order to mitigate this serious computational limitation, recently randomized constructions have been proposed in the literature, which allow the application of fast linear algorithms. Random Fourier features (RFF) are among the most popular and widely applied constructions: they provide an easily computable, low-dimensional feature representation for shift-invariant kernels. Despite the popularity of RFFs, very little is understood theoretically about their approximation quality. In this paper, we provide a detailed finite-sample theoretical analysis about the approximation quality of RFFs by (i) establishing optimal (in terms of the RFF dimension, and growing set size) performance guarantees in uniform norm, and (ii) presenting guarantees in $L^r$ ($1\le r

研究の動機と目的

• ランダムフーリエ特徴量（RFF）の近似品質に関する理論的ギャップを埋めること。RFFは広く用いられているが、有限標本設定では十分に理解されていない。
• コンパクト集合上での一様ノルムにおけるRFFの最適収束レートを確立すること。これにより、先行研究におけるタイトな有限標本バウンドの欠如を解消する。
• 一様ノルムを超える分析を拡張し、学習アルゴリズムにおける一般化により関連性の高い $ 1 \leq r < \infty $ の $ L^r $ ノルムにおける近似保証を提供すること。
• RFFを用いたカーネル関数の導関数近似のための理論的フレームワークを構築し、明示的な誤差バウンドを導出すること。
• コンパクト集合の直径が $ e^{o(m)} $ よりも遅く増大する限り、RFF近似誤差のほとんど確実収束が達成可能であることを示すこと。

提案手法

• ボッハナーの定理を活用し、カーネルのスペクトル測度のフーリエ積分を経験的に近似することで、明示的なRFFマップを構築する。
• マクディアミッドの不等式を用いて、一様ノルムにおけるRFF近似誤差の高確率集中バウンドを導出する。
• バーナンスタインの不等式を適用し、経験的特徴関数の尾部挙動を制御することで、有限標本解析を可能にする。
• コンパクト集合上のボレル $\sigma$-代数の分離性を活用し、$ L^r $ ノルムにおける近似誤差のバウンドを、$ L^{ ilde{r}} $ の双対空間に帰着させる、新しい技術を導入する。
• 特徴量マップの導関数およびその期待値の解析を通じて、カーネルの導関数に対するRFF近似のバウンドを導出する。
• 経験過程理論と特徴関数理論の結果を統合し、特に鋭い $ m^{-1/2} $ レートを含む最適レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 コンパクト集合上での一様ノルムにおけるランダムフーリエ特徴量の有限標本収束レートの最適値は何か？
• RQ2 先行研究と比較して、RFF近似誤差のよりタイトで最適な有限標本バウンドを確立できるか？
• RQ3 $ L^r $ ノルムにおけるRFFの近似誤差保証は何か？ また、一様ノルムバウンドと比べてどう異なるか？
• RQ4 RFFはシフト不変カーネルの導関数をどの程度よく近似できるか？ また、どのような理論的誤差バウンドが存在するか？
• RQ5 RFF近似誤差のほとんど確実収束が成立するためのドメインサイズに関する条件は何か？

主な発見

• 本稿は、RFFのコンパクト集合上での一様ノルム近似誤差の最適収束レート $ m^{-1/2} $ を確立し、経験的特徴関数理論からの理論的下界と一致することを示している。
• 任意の $ m $ に対して、高確率で成り立つ一様誤差 $ A_m $ の有限標本確率的バウンドを提供しており、コンパクト集合 $ \mathscr{S} $ の直径が $ e^{o(m)} $ よりも遅く増大する限り、ほとんど確実収束を保証している。
• $ 1 \leq r < \infty $ の $ L^r $ ノルムにおける近似保証を導出し、RFF近似誤差がこれらのノルムでも最適レート $ m^{-1/2} $ で減少することを示している。
• カーネルの導関数に関して、RFFに基づく導関数推定器の近似誤差に対する理論的バウンドを提供しており、誤差が最適な $ m^{-1/2} $ レートで減少することを示している。
• 解析により、RFF手法が複数の関数ノルム空間において最適な近似品質を達成することが確認され、スケーラブルなカーネル法への応用を正当化している。
• 本研究の結果により、長年の理論的ギャップが解消され、RFFが有限標本設定においても一様ノルムおよび $ L^r $ ノルムで最良の収束レートを達成できることを示している。