[論文レビュー] On the Equivalence between Quadrature Rules and Random Features

Francis Bach|arXiv (Cornell University)|Feb 24, 2015

Mathematical Approximation and Integration参考文献 51被引用数 28

ひとこと要約

本稿では、核関数に基づく台形則とランダム特徴量展開の理論的同等性を確立し、台形則が特定の核関数分解の下でランダム特徴量の特殊ケースであることを示している。核の固有値に基づいて、近似誤差が与えられた条件下でのサンプル必要数について、対数要因を除いて一致するタイトな上界と下界を導出しており、Lipschitz損失を伴う学習における関数近似と一般化にも拡張している。

ABSTRACT

We show that kernel-based quadrature rules for computing integrals are a special case of random feature expansions for positive definite kernels for a particular decomposition that always exists for such kernels. We provide a theoretical analysis of the number of required samples for a given approximation error, leading to both upper and lower bounds that are based solely on the eigenvalues of the associated integral operator and match up to logarithmic terms. In particular, we show that the upper bound may be obtained from independent and identically distributed samples from a known nonuniform distribution, while the lower bound if valid for any set of points. Applying our results to kernel-based quadrature, while our results are fairly general, we recover known upper and lower bounds for the special cases of Sobolev spaces. Moreover, our results extend to the more general problem of full function approximations (beyond simply computing an integral), with results in L2- and L1-norm that match known results for special cases. Applying our results to random features, we show an improvement of the number of random features needed to preserve the generalization guarantees for learning with Lipshitz-continuous losses.

研究の動機と目的

• 正定値核関数の文脈において、核関数に基づく台形則とランダム特徴量展開の理論的関係を確立すること。
• 積分計算における所定の近似誤差を達成するために必要なサンプル数のタイトな上界と下界を導出すること。
• 統合の分析を越えて、L2およびL1ノルムにおける完全な関数近似への拡張をすること。
• Lipschitz連続な損失関数を伴う機械学習における、サンプル効率の向上を目的として、境界を一般化保証に応用すること。

提案手法

• 正定値核関数に関連する積分作用素のスペクトル分解を活用し、特定のランダム特徴量展開を定義する。
• 核の固有値から導かれる非一様分布からのi.i.d.サンプルを用いて、サンプル必要数の上界を導出する。
• 任意の点集合に対して有効な下界を確立し、いかなる点配置でもこの下界を下回る誤差を達成できないことを示す。
• 核関数に基づく台形則に応用し、Sobolev空間に対する既知の結果が特殊ケースとして回復されることを確認する。
• L2およびL1ノルムの近似誤差を分析することで、関数近似へのフレームワークの拡張を行う。
• 導出された境界を用いて、Lipschitz連続な損失関数を伴う学習における一般化保証を維持するために必要なランダム特徴量の数を改善する。

実験結果

リサーチクエスチョン

• RQ1 正定値核関数の文脈において、核関数に基づく台形則とランダム特徴量展開はどのように関連しているか？
• RQ2 核の固有値のみに依存して、所定の台形則誤差を達成するために必要なサンプル数のタイトな上界と下界は何か？
• RQ3 台形則の理論的枠組みは、L2およびL1ノルムにおける完全な関数近似へと拡張可能か？
• RQ4 これらの境界は、Lipschitz連続な損失関数を伴う機械学習におけるランダム特徴量のサンプル効率をどのように向上させるか？

主な発見

• 核関数に基づく台形則は、核関数の特定の分解の下で、ランダム特徴量展開の形式的な特殊ケースである。
• サンプル必要数の上界は、核の固有値から導かれる既知の非一様分布からのi.i.d.サンプルを用いることで達成可能である。
• サンプル必要数の下界は、任意の点集合に対して成立し、いかなる点配置でもこの下界を下回る誤差を達成できないことを証明する。
• 導出された境界は、Sobolev空間に対する既知の結果と一致しており、特殊ケースにおける一貫性を確認している。
• フレームワークは関数近似へと拡張され、既存の結果と整合するタイトなL2およびL1ノルム誤差境界をもたらしている。
• 分析により、Lipschitz連続な損失関数を伴う学習における一般化保証を維持するために必要なランダム特徴量の数が改善された。