[論文レビュー] Learning Theory for Distribution Regression

Zoltán Szabó, Bharath K. Sriperumbudur+2 more|arXiv (Cornell University)|Nov 8, 2014

Machine Learning and Algorithms参考文献 72被引用数 35

ひとこと要約

本論文は、再生カーネルヒルバート空間（RKHS）における平均埋め込みを用いた分布回帰のためのカーネルリッジ回帰手法を提案し、2段階サンプリング設定において一貫性およびミニマックス最適性を証明している。これは、古典的セットカーネルに対する理論的保証を初めて確立し、17年前の未解決問題を解消した。これは、緩い条件下でも推定器が最適な計算統計的効率性トレードオフを達成できることを示している。

ABSTRACT

We focus on the distribution regression problem: regressing to vector-valued outputs from probability measures. Many important machine learning and statistical tasks fit into this framework, including multi-instance learning and point estimation problems without analytical solution (such as hyperparameter or entropy estimation). Despite the large number of available heuristics in the literature, the inherent two-stage sampled nature of the problem makes the theoretical analysis quite challenging, since in practice only samples from sampled distributions are observable, and the estimates have to rely on similarities computed between sets of points. To the best of our knowledge, the only existing technique with consistency guarantees for distribution regression requires kernel density estimation as an intermediate step (which often performs poorly in practice), and the domain of the distributions to be compact Euclidean. In this paper, we study a simple, analytically computable, ridge regression-based alternative to distribution regression, where we embed the distributions to a reproducing kernel Hilbert space, and learn the regressor from the embeddings to the outputs. Our main contribution is to prove that this scheme is consistent in the two-stage sampled setup under mild conditions (on separable topological domains enriched with kernels): we present an exact computational-statistical efficiency trade-off analysis showing that our estimator is able to match the one-stage sampled minimax optimal rate [Caponnetto and De Vito, 2007; Steinwart et al., 2009]. This result answers a 17-year-old open question, establishing the consistency of the classical set kernel [Haussler, 1999; Gaertner et. al, 2002] in regression. We also cover consistency for more recent kernels on distributions, including those due to [Christmann and Steinwart, 2010].

研究の動機と目的

• 2段階サンプリング設定下での分布回帰における理論的一致性という長年の課題に取り組むこと。
• 核密度推定に依存する従来の手法の代替として、計算的に効率的かつ解析的に取り扱いやすい手法を確立すること。
• 平均埋め込みを用いたリッジ回帰ベースの手法が、2段階サンプリング設定においてミニマックス最適レートに達することを証明すること。
• 古典的および現代的なカーネル（セットカーネル、ChristmannおよびSteinwartによるものなど）が、分布に対して一貫性を示すかどうかを検証すること。
• 提案された推定器の計算コストと統計的効率性の正確なトレードオフを分析すること。

提案手法

• 特徴的カーネルを用いて確率測度を再生カーネルヒルバート空間（RKHS）に埋め込み、分布間の類似度を解析的に計算可能にする。
• 埋め込まれた分布を入力とし、ベクトル値の出力をラベルとして用いるカーネルリッジ回帰問題を定式化する。
• 正則化された最小二乗問題における解析的解として推定器を導出することで、計算の取り扱いやすさを保証する。
• 理論的分析には、出力の有界性、カーネル写像のホルダー連続性、および定義域の分離可能性に加え、特徴的カーネルの仮定を含む。
• ガウス、指数、コーシー、逆多項式カーネルなど、さまざまなカーネルを、それらが誘導する特徴写像を通じて、分布上での使用を可能にする。
• 証明技法は、CaponnettoとDe Vito（2007年）およびSteinwartら（2009年）の既存のミニマックスリスク境界と、ベルンシュタイン型条件を活用する。

実験結果

リサーチクエスチョン

• RQ1 平均埋め込みを用いたカーネルリッジ回帰手法は、2段階サンプリング設定下の分布回帰問題において一貫性を示せるか？
• RQ2 提案手法は、2段階サンプリング設定下でミニマックス最適レートを達成するか？
• RQ3 広く使用されているが理論的保証が欠如している古典的セットカーネルは、回帰において一貫性を示すのか？
• RQ4 この枠組みにおける計算コストと統計的効率性の正確なトレードオフは何か？
• RQ5 ChristmannおよびSteinwartによる現代的カーネルも、同様の条件下で一貫性を示すのか？

主な発見

• 提案された平均埋め込みを用いたカーネルリッジ回帰手法は、出力の有界性およびカーネル写像のホルダー連続性といった緩い条件下でも、2段階サンプリング設定下で一貫性を示す。
• 推定器は、CaponnettoとDe Vito（2007年）およびSteinwartら（2009年）が確立した理論的下界に一致するミニマックス最適レートを達成する。
• 古典的セットカーネル $ K(\bar{x}_i, \bar{x}_j) = \frac{1}{N^2} \sum_{n,m} k(x_{i,n}, x_{j,m}) $ が回帰において一貫性を示すことが証明され、17年前の未解決問題が解決された。
• この手法は正確な計算統計的効率性トレードオフを達成しており、推定器の過剰リスクがサンプル数 $ l $ および1分布あたりのサンプル数 $ N $ に対して最適レートで減少することが示された。
• この枠組みは、ガウス、指数、コーシー、逆多項式カーネルを含む広範なカーネルの使用を可能にし、緩い定義域仮定のもとで必要なホルダー連続性および有界性条件を満たす。
• 分析により、真の回帰関数がRKHSに属さない場合でも、出力分布にベルンシュタイン型条件が成り立つ限り、カーネルリッジ回帰推定器の一貫性が確認された。