[論文レビュー] On Kernel Derivative Approximation with Random Fourier Features

Zoltán Szabó, Bharath K. Sriperumbudur|arXiv (Cornell University)|Oct 11, 2018

Neural Networks and Applications参考文献 29被引用数 5

ひとこと要約

本稿は、カーネル微分の近似において、最初の有限標本保証を確立し、RFFがカーネル値と同等の近似精度を達成することを証明している。非有界な経験過程理論を活用することで、近似の有効性が成り立つ領域を指数関数的に拡大できることを示し、RFFが微分に基づくカーネル学習タスクにおいて最適に効率的であることを示している。

ABSTRACT

Random Fourier features (RFF) represent one of the most popular and wide-spread techniques in machine learning to scale up kernel algorithms. Despite the numerous successful applications of RFFs, unfortunately, quite little is understood theoretically on their optimality and limitations of their performance. Only recently, precise statistical-computational trade-offs have been established for RFFs in the approximation of kernel values, kernel ridge regression, kernel PCA and SVM classification. Our goal is to spark the investigation of optimality of RFF-based approximations in tasks involving not only function values but derivatives, which naturally lead to optimization problems with kernel derivatives. Particularly, in this paper, we focus on the approximation quality of RFFs for kernel derivatives and prove that the existing finite-sample guarantees can be improved exponentially in terms of the domain where they hold, using recent tools from unbounded empirical process theory. Our result implies that the same approximation guarantee is attainable for kernel derivatives using RFF as achieved for kernel values.

研究の動機と目的

• 最適化や勾配を含む学習タスクにおいて不可欠なカーネル微分の近似におけるRFF性能の理論的理解の不足に対処すること。
• 経験過程理論の高度なツールを用いて、カーネル値の有限標本近似保証をカーネル微分へと拡張すること。
• RFFによるカーネル微分の近似が、カーネル値近似の性能バウンドと同等であることを確立し、理論的最適性を保証すること。
• 特にRFFを含む微分に基づくカーネル手法における統計的・計算的トレードオフを調査すること。

提案手法

• 著者らは、コンactドメイン上の$L^r$-ノルム収束に注目し、非有界な経験過程理論を用いてRFFによるカーネル微分の近似誤差を分析する。
• 均一ノルムとドメインの幾何的性質に依存する、RFF近似の$L^r$-ノルム誤差に対する一般バウンドを導出する。
• フーリエ変換のモーメント生成関数を分析し、部分ガウス型の挙動を示すベルンシュタイン条件を活用する。
• ガウスカーネルに対して、$r=1,2$ におけるベルンシュタイン条件を検証し、明示的な定数を用いて必要なモーメント条件が満たされることを示す。
• スターリングの近似と漸近的解析を用いて、$r=3,4$ におけるベルンシュタイン条件の妥当性を評価し、特定の階乗の急速な増加により高次では失敗することを示す。
• 理論的枠組みにより、先行研究と比較して近似保証が成り立つドメインサイズが指数関数的に改善されることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 RFFは、カーネル値と同等の有限標本近似保証をカーネル微分の近似において達成できるか？
• RQ2 RFFを用いたカーネル微分の近似における統計的・計算的トレードオフは何か？
• RQ3 RFFサンプリング下で、経験過程バウンズに必要なベルンシュタイン条件は、カーネル微分に対して成り立つか？
• RQ4 RFFの近似有効領域は、微分の近似において著しく拡大可能か？
• RQ5 カーネルのフーリエ変換のモーメント条件は、微分のRFF近似収束にどのように影響するか？

主な発見

• 本稿は、RFFがカーネル値と同等の有限標本誤差バウンドをカーネル微分の近似で達成できることを証明し、理論的最適性を確立している。
• 非有界な経験過程理論を用いることで、先行研究と比較して近似保証が成り立つドメインサイズが指数関数的に改善されている。
• ガウスカーネルに対して、$r=1$ および $r=2$ におけるベルンシュタイン条件が検証され、RFF近似誤差の有効な集中バウンドが保証されている。
• $r=3$ および $r=4$ に対しては、モーメント条件における特定の階乗の急速な増加により、漸近的にベルンシュタイン条件が失敗し、高次近似における制限が示されている。
• RFFによるカーネル微分の$L^r$-ノルム近似誤差は、均一ノルムとドメインの幾何的測度に依存する項によってバウンデされ、ドメイン依存の誤差制御が可能である。
• 結果から、RFFは計算的にも効率的であるだけでなく、微分に基づくカーネル学習タスクにおいて統計的に最適であることが示唆される。