[論文レビュー] On the Equivalence between Kernel Quadrature Rules and Random Feature Expansions

Francis Bach|arXiv (Cornell University)|Feb 24, 2015

Mathematical Approximation and Integration参考文献 63被引用数 169

ひとこと要約

本稿は、正定値カーネルに対して、カーネル・クアドラチャチャール・ルールとランダム・フェイチャーエクスパンションの理論的同等性を確立し、最適なクアドラチャール・ポイントがランダム・フェイチャーサンプリングの特別なケースとして導出可能であることを示している。近似誤差のタイトな上界と下界が、カーネル固有値にのみ依存して導出され、対数要因を除いて一致する。また、リプシッツ連続損失を伴う学習における一般化保証を向上させ、必要なランダム・フェイチャーデータ数を削減する。

ABSTRACT

We show that kernel-based quadrature rules for computing integrals can be seen as a special case of random feature expansions for positive definite kernels, for a particular decomposition that always exists for such kernels. We provide a theoretical analysis of the number of required samples for a given approximation error, leading to both upper and lower bounds that are based solely on the eigenvalues of the associated integral operator and match up to logarithmic terms. In particular, we show that the upper bound may be obtained from independent and identically distributed samples from a specific non-uniform distribution, while the lower bound if valid for any set of points. Applying our results to kernel-based quadrature, while our results are fairly general, we recover known upper and lower bounds for the special cases of Sobolev spaces. Moreover, our results extend to the more general problem of full function approximations (beyond simply computing an integral), with results in L2- and L$\\infty$-norm that match known results for special cases. Applying our results to random features, we show an improvement of the number of random features needed to preserve the generalization guarantees for learning with Lipschitz-continuous losses.

研究の動機と目的

• 正定値カーネルに対するカーネルベースのクアドラチャール・ルールとランダム・フェイチャーエクスパンションの間の理論的接続を確立すること。
• カーネル・クアドラチャールにおける与えられた近似誤差を達成するためのサンプル数のタイトな上界と下界を導出すること。
• 積分計算にとどまらず、$L_2$および$L_\infty$ノルムにおける関数の完全な近似に対しても、この理論的枠組みを拡張すること。
• リプシッツ連続損失を伴う教師あり学習における一般化保証を向上させ、必要なランダム・フェイチャーデータ数を削減すること。
• 最適なクアドラチャール・ポイントが、カーネル固有値から導かれた非一様分布からのi.i.d.サンプリングによって生成可能であることを示すこと。

提案手法

• 解析は関数解析に裏打ちされており、カーネルおよび測度に関連する積分作用素の固有値分解を用いる。
• 本稿は、正定値カーネルに対して常に存在する特定の分解を用いて、カーネル・クアドラチャールをランダム・フェイチャーエクスパンションの特別なケースとして定式化する。
• 上界は、カーネルの固有値から得られる非一様サンプリング分布を構築することで導出され、最適収束率を達成するi.i.d.サンプリングが可能になる。
• 任意の点集合に対して下界を導出し、導出されたバウンドより良い誤差を達成できる点配置は存在しないことを示す。
• この枠組みはクアドラチャールおよび関数近似の両方へ適用され、$L_2$および$L_\infty$誤差バウンドが得られ、特にソボレフ空間のような特殊ケースにおいて既知の結果と一致する。
• ランダム・フェイチャーデータの文脈では、リプシッツ連続損失下での誤差バウンドを維持するための特徴量数を削減することで、一般化保証を向上させる。

実験結果

リサーチクエスチョン

• RQ1 カーネル・クアドラチャール・ルールは、正式にランダム・フェイチャーエクスパンションの特別なケースとして解釈可能か？
• RQ2 カーネル・クアドラチャールにおいて、与えられた近似誤差を達成するために必要な最適なサンプル数は何か？また、これはカーネルの性質にどのように依存するか？
• RQ3 同じ理論的枠組みにより、積分推定にとどまらず、関数の完全な近似に対してもタイトな誤差バウンドを導出可能か？
• RQ4 提案手法は、教師あり学習における一般化を維持するためのランダム・フェイチャーデータ数をどのように改善するか？
• RQ5 四則演算誤差の最適上界に達する非一様サンプリング分布が存在するか？

主な発見

• 本稿は、正定値カーネルに対して常に存在する分解を用いて、カーネル・クアドラチャールがランダム・フェイチャーエクスパンションの特別なケースであることを確立した。
• 与えられた誤差に対するサンプル数の上界と下界は、対数要因を除いて一致し、カーネルの積分作用素の固有値にのみ依存する。
• 上界は、カーネルの固有値から導かれた非一様分布からのi.i.d.サンプリングによって達成可能である。
• ソボレフ空間の場合、導出されたバウンドは既知の収束率（例：$s=1$ のとき $n^{-2}$、$s=2$ のとき $n^{-4}$）を回復し、一貫性を確認する。
• この枠組みは、$L_2$および$L_\infty$ノルムにおける関数の近似へ拡張可能であり、特殊ケース（例：ソボレフ空間）における既知の結果と一致するバウンドをもたらす。
• ランダム・フェイチャーラーニングの文脈では、リプシッツ連続損失下での一般化保証を維持するための特徴量数を削減する。