[論文レビュー] Fourier Sparse Leverage Scores and Approximate Kernel Learning

Tamás Erdélyi, Cameron Musco+1 more|arXiv (Cornell University)|Jun 12, 2020

Sparse and Compressive Sensing Techniques参考文献 73被引用数 5

ひとこと要約

本稿では、ガウス分布およびラプラス分布に対するフーリエスパースリッジスコアの明示的上界を確立し、統計次元における多項式時間のランダムフーリエ特徴量アルゴリズムを用いたカーネル近似に、近似的に最適な特徴数を実現する。また、ガウス分布およびラプラス分布の下でのロバストなアクティブラーニングに適した非一様サンプリング分布を提供し、非多項式カーネルに対するオーバーサイドスケッチの未解決問題を解決する。

ABSTRACT

We prove new explicit upper bounds on the leverage scores of Fourier sparse functions under both the Gaussian and Laplace measures. In particular, we study $s$-sparse functions of the form $f(x) = \sum_{j=1}^s a_j e^{i λ_j x}$ for coefficients $a_j \in \mathbb{C}$ and frequencies $λ_j \in \mathbb{R}$. Bounding Fourier sparse leverage scores under various measures is of pure mathematical interest in approximation theory, and our work extends existing results for the uniform measure [Erd17,CP19a]. Practically, our bounds are motivated by two important applications in machine learning: 1. Kernel Approximation. They yield a new random Fourier features algorithm for approximating Gaussian and Cauchy (rational quadratic) kernel matrices. For low-dimensional data, our method uses a near optimal number of features, and its runtime is polynomial in the $statistical\ dimension$ of the approximated kernel matrix. It is the first "oblivious sketching method" with this property for any kernel besides the polynomial kernel, resolving an open question of [AKM+17,AKK+20b]. 2. Active Learning. They can be used as non-uniform sampling distributions for robust active learning when data follows a Gaussian or Laplace distribution. Using the framework of [AKM+19], we provide essentially optimal results for bandlimited and multiband interpolation, and Gaussian process regression. These results generalize existing work that only applies to uniformly distributed data.

研究の動機と目的

• ガウス分布やラプラス分布といった非一様測度下でのフーリエスパース関数に対する明示的リッジスコアの境界が不足しているという問題に取り組み、従来の均一測度に限局した先行研究を拡張する。
• ガウスカーネルおよびコーシー・カーネル行列の近似に適した、近似的に最適な特徴数を達成する、新たなランダムフーリエ特徴量手法を構築する。
• バンドリミテッドおよびマルチバンド関数のアクティブラーニングにおける性能向上を目的として、既存の一様サンプリング結果をガウス分布およびラプラス分布に一般化した非一様サンプリング分布を提供する。
• 非多項式カーネルに対するオーバーサイドスケッチ手法の特徴数が最適である初の例を構築することで、カーネルラーニング分野における未解決問題を解決する。
• 周波数ギャップ制約下でのタイトなリッジスコア境界を確立し、カーネル近似およびアクティブラーニングの性能を向上させる。

提案手法

• 複素解析および不等式を用いて、ガウス分布およびラプラス分布下での $s$-スパースフーリエ関数 $f(x) = \sum_{j=1}^s a_j e^{i\lambda_j x}$ のリッジスコアの上界を導出する。
• インガムの不等式およびコーシー＝シュワルツの不等式を適用し、測度下での $f(x)$ の点ごとの大きさをその $L^2$ ノルムに対して上界で抑え込む。
• スケーリングの議論を用いて、標準分散密度（例：$\frac{1}{2}e^{-|x|}$）から一般の分散 $\sigma^2$ 密度へ結果を拡張する。
• 周波数成分間の最小周波数ギャップ $\gamma$ を仮定することでギャップに基づく上界を導入し、濃縮性およびタイトネスを向上させる。
• リッジスコア上界からサンプリング分布を構築し、アクティブラーニングおよびカーネル近似における非一様サンプリングを可能にする。
• 得られた特徴数がカーネル行列の統計次元に関して多項式的であることを証明し、実行時間の効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布およびラプラス分布下での $s$-スパースフーリエ関数のリッジスコアに対する明示的上界は何か？
• RQ2 これらの上界を用いて、カーネル近似に適した、近似的に最適な特徴数と多項式的実行時間を持つランダムフーリエ特徴量アルゴリズムを設計できるか？
• RQ3 リッジスコア上界は、バンドリミテッドおよびマルチバンド関数のアクティブラーニングにおける性能向上を実現する非一様サンプリング戦略を可能にするか？
• RQ4 非多項式カーネルに対して、最適な特徴数を持つオーバーサイドスケッチ手法を構築することは可能か？（カーネルラーニング分野における未解決問題を解決する。）
• RQ5 成分間の周波数ギャップ $\gamma$ は、リッジスコア上界のタイトネスおよびアルゴリズムの性能にどのように影響を与えるか？

主な発見

• ラプラス測度 $z(x) = \frac{1}{2}e^{-|x|}$ の場合、リッジスコア $\tau_{s,z}(x)$ は $|x| \leq 9\sqrt{2}\sigma s$ のとき $\frac{e^2 s}{1 + |x|}$ で抑えられ、$|x| > 18s$ のときは $e^{-|x|/6}$ で抑えられる。
• 周波数ギャップ $\gamma$ を持つガウス測度の場合、リッジスコアは $\tau_{s,\gamma,g}(x) \leq \left(\frac{\gamma}{6} e^{4\pi^2/\gamma^2}\right) s e^{-x^2}$ を満たし、$\gamma = \Omega(1)$ のとき積分値が $O(s)$ になる。
• 提案されたランダムフーリエ特徴量アルゴリズムは、カーネル行列の統計次元に関して多項式的特徴数を達成し、実行時間の効率性を保証する。
• 本手法により、多項式カーネルを除く任意のカーネルに対して、近似的に最適な特徴数を持つ初のオーバーサイドスケッチ手法が提供されたという点で、未解決問題が解決された。
• リッジスコア上界は、一様分布からガウス分布およびラプラス分布への一般化に適した非一様サンプリング戦略を可能にし、既存の結果を拡張する。
• ギャップに基づく上界は濃縮性を向上させ、特に周波数が明確に分離されている場合には、よりタイトなリッジスコア推定を実現する。