[論文レビュー] Two-stage Sampled Learning Theory on Distributions

Zoltán Szabó, Arthur Gretton+2 more|arXiv (Cornell University)|Feb 7, 2014

Domain Adaptation and Few-Shot Learning被引用数 23

ひとこと要約

この論文は、分布からのサンプルのみが観測可能な2段階サンプリング設定において、分布回帰のための最初の一貫性および収束速度の保証を確立する。分布を再生核ヒルベルト空間に埋め込み、カーネルリッジ回帰を適用する手法を提案し、弱い条件下でも古典的セットカーネルおよび他の分布カーネルの一致性を証明。合計サンプル数と問題の複雑さの関数として明示的な収束速度を導出。

ABSTRACT

We focus on the distribution regression problem: regressing to a real-valued response from a probability distribution. Although there exist a large number of similarity measures between distributions, very little is known about their generalization performance in specific learning tasks. Learning problems formulated on distributions have an inherent two-stage sampled difficulty: in practice only samples from sampled distributions are observable, and one has to build an estimate on similarities computed between sets of points. To the best of our knowledge, the only existing method with consistency guarantees for distribution regression requires kernel density estimation as an intermediate step (which suffers from slow convergence issues in high dimensions), and the domain of the distributions to be compact Euclidean. In this paper, we provide theoretical guarantees for a remarkably simple algorithmic alternative to solve the distribution regression problem: embed the distributions to a reproducing kernel Hilbert space, and learn a ridge regressor from the embeddings to the outputs. Our main contribution is to prove the consistency of this technique in the two-stage sampled setting under mild conditions (on separable, topological domains endowed with kernels). For a given total number of observations, we derive convergence rates as an explicit function of the problem difficulty. As a special case, we answer a 15-year-old open question: we establish the consistency of the classical set kernel [Haussler, 1999; Gartner et. al, 2002] in regression, and cover more recent kernels on distributions, including those due to [Christmann and Steinwart, 2010].

研究の動機と目的

• 観測可能なのは分布からのサンプルのみである2段階サンプリング設定において、分布回帰が一貫して解けるかどうかという根本的な未解決問題に取り組む。
• 単純でありながら効果的な手法である、分布を再生核ヒルベルト空間に埋め込み、その後リッジ回帰を適用するという理論的保証を提供する。
• 15年前の未解決問題である、古典的セットカーネルの回帰タスクにおける一貫性を解消する。
• 入力ドメインおよびカーネル構造に関する一般条件の下で、提案手法の明示的な収束速度を導出する。
• ガウス、指数、マトérnカーネルに基づくものも含む、広範な分布カーネルクラスへの理論的分析を拡張する。

提案手法

• 各観測された分布（i.i.d. サンプルの集合として表される）を、サンプル点におけるカーネル関数を用いて再生核ヒルベルト空間（RKHS）に埋め込む。
• その後、RKHS埋め込みから実数値の応答変数へのマッピングを学ぶためにカーネルリッジ回帰を適用する。
• 理論的分析は2段階サンプリングフレームワークに基づく：まず、メタ分布から分布が抽出され、次に各分布からサンプルが抽出される。
• 論文は、分布の数と各分布からのサンプル数が増加するにつれて、学習された推定子の過剰リスクがゼロに収束することを証明することで一貫性を確立する。
• 滑らかさパラメータ $ c $ と有効次元 $ b $ で特徴づけられる事前分布族に対して収束速度を導出し、合計サンプル数 $ t = lN $ の関数として明示的なレートを示す。
• ドメイン（分離可能で位相的）およびカーネル（特徴的で有界）に対する弱い仮定に依存し、カーネル密度推定を回避する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングされた分布のRKHS埋め込みに対するカーネルリッジ回帰は、2段階サンプリング設定において一貫性を示すか？
• RQ2 古典的セットカーネルが回帰タスクにおいて一貫していることを証明できるか。15年前の未解決問題を解消する。
• RQ3 滑らかさおよび有効次元の変動に応じて、分布回帰の明示的な収束速度は何か？
• RQ4 本手法は、カーネル密度推定に依存する従来の手法と理論的に比較してどうか？
• RQ5 理論的枠組みを、ガウス、指数、マトérnカーネルに基づくものも含む広範な分布カーネルクラスに拡張できるか？

主な発見

• 提案手法は、分離可能で位相的なドメインおよび特徴的カーネルという弱い条件下でも、2段階サンプリング設定における分布回帰の一貫性を達成する。
• 15年前の未解決問題を解決し、古典的セットカーネルが回帰タスクにおいて一貫していることを証明する。
• 固定された合計サンプル数 $ t = lN $ の下で、回帰関数が滑らかである場合（$ c=2 $）の収束速度は $ 1/t^{2/7} $ であり、滑らかでない場合（$ c=1 $）は $ 1/t^{1/5} $ である。
• 実験的評価では、複数のカーネルのアンサンブルを用いて予測誤差が $ 100 \times \text{RMSE} = 7.86 \pm 1.71 $ に達し、ロバストネスと優れた性能を示した。
• RKHS埋め込みに非線形カーネルを適用することで性能が向上し、アンサンブルケースでは $ 100 \times \text{RMSE} = 7.81 \pm 1.64 $ を達成し、線形および多項式カーネルを上回った。
• 理論的枠組みは、ガウス、指数、有理二次、マトérnカーネルを含む広範な分布カーネルクラスをカバーし、明示的な収束保証を提供する。