[論文レビュー] On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees

Shahin Shahrampour, Soheil Kolouri|arXiv (Cornell University)|Mar 20, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用数 6

ひとこと要約

本稿では、カーネル近似のためのランダム特徴量を、経験的レバレッジスコアを用いてサンプリングする手法を提案し、少ない特徴量でより優れた一般化性能を達成する。理論的保証として、カーネル近似誤差と固有値の減衰の間のトレードオフを示し、モンテカルロサンプリングを上回り、ラベルを用いない supervised 方法に近い性能を達成する。

ABSTRACT

Random features provide a practical framework for large-scale kernel approximation and supervised learning. It has been shown that data-dependent sampling of random features using leverage scores can significantly reduce the number of features required to achieve optimal learning bounds. Leverage scores introduce an optimized distribution for features based on an infinite-dimensional integral operator (depending on input distribution), which is impractical to sample from. Focusing on empirical leverage scores in this paper, we establish an out-of-sample performance bound, revealing an interesting trade-off between the approximated kernel and the eigenvalue decay of another kernel in the domain of random features defined based on data distribution. Our experiments verify that the empirical algorithm consistently outperforms vanilla Monte Carlo sampling, and with a minor modification the method is even competitive to supervised data-dependent kernel learning, without using the output (label) information.

研究の動機と目的

• ランダム特徴量手法における単純なモンテカルロサンプリングの限界を解消すること、これはしばしば良好な性能を得るためには多くの特徴量を必要とする。
• 理論的レバレッジスコアに依存しない、データに依存する実用的なサンプリングスキームを、無限次元積分作用素の計算が困難であるのを避けるために開発すること。
• 一般化性能の理論的バウンディングを確立し、近似誤差と固有値の減衰の間のトレードオフを明らかにすること。
• 経験的に、本手法がモンテカルロサンプリングを上回り、ラベル情報を利用しないにもかかわらず、supervised データ依存手法と同等の性能を示すことを示すこと。

提案手法

• 本手法は、データ行列から計算された経験的レバレッジスコアを用いて、ランダム特徴量の非一様サンプリング分布を定義する。
• 一般化誤差をバウンディングするために、スペクトル近似理論と行列集中不等式を活用する。
• 理論的分析では、[13] の近似誤差に関する結果と、[16] のリッジレバレッジ関数に関する結果を統合して性能バウンディングを導出する。
• アルゴリズムは、レバレッジスコア分布の有限次元近似から特徴量をサンプリングすることで、計算が可能になる。
• 性能をさらに向上させるために、修正されたサンプリングスキームを導入し、supervised データ依存手法に近づける。
• G-リプシッツ連続性とカーネル推定器の分散制御を用いて、理論的バウンディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 経験的レバレッジスコアを用いることで、カーネル近似におけるランダム特徴量手法のサンプリング効率を向上させることができるか？
• RQ2 経験的レバレッジスコアに基づくランダム特徴量サンプリングの理論的一般化性能は何か？
• RQ3 経験的レバレッジスコアサンプリングの性能は、単純なモンテカルロサンプリングと比べてどうか？
• RQ4 経験的レバレッジスコアサンプリングは、ラベル情報を使用しないまま、supervised データ依存手法と同等の性能を達成できるか？
• RQ5 このフレームワークにおける一般化誤差を支配するトレードオフは何か？

主な発見

• 提案手法は、実用的データセットにおいて、アウトオブサンプル性能が常に単純なモンテカルロサンプリングを上回る。
• サンプリングスキームにわずかな修正を加えることで、ラベル情報を使用しないにもかかわらず、supervised データ依存カーネル学習手法と同等の性能を達成する。
• 理論的分析により、ランダム特徴量ドメインにおけるカーネル定義の固有値の減衰率と、カーネル近似誤差の間のトレードオフが明らかになった。
• 期待一般化誤差は、$ \mathbb{E}[e_{2}] \leq 4G\sqrt{\Delta F\mathbb{E}_{d\tau}\left[\frac{\lambda}{\sigma_{M_{0}}(\mathbf{G})}\right]} $ でバウンディングされ、固有値の減衰に依存することが示された。
• 誤差 $ e_3 $ のバウンディングは $ \mathbb{E}[e_3] \leq G8\sqrt{\lambda} $ であり、正則化パラメータが誤差に与える影響を反映している。
• 分析により、経験的レバレッジスコアは、理論的レバレッジスコアの実用的かつ理論的に根拠のある代替手段を提供することが確認された。