[论文解读] Learning Theory for Distribution Regression

Zoltán Szabó, Bharath K. Sriperumbudur+2 more|arXiv (Cornell University)|Nov 8, 2014

Machine Learning and Algorithms参考文献 72被引用 35

一句话总结

本文提出了一种基于再生核希尔伯特空间中均值嵌入的核岭回归方法，用于分布回归，在两阶段抽样设置下证明了其一致性和极小极大最优性。该工作首次为经典集合核在回归任务中提供了理论保证，解决了17年前未解的开放问题，表明该估计器在温和条件下实现了最优的计算-统计效率权衡。

ABSTRACT

We focus on the distribution regression problem: regressing to vector-valued outputs from probability measures. Many important machine learning and statistical tasks fit into this framework, including multi-instance learning and point estimation problems without analytical solution (such as hyperparameter or entropy estimation). Despite the large number of available heuristics in the literature, the inherent two-stage sampled nature of the problem makes the theoretical analysis quite challenging, since in practice only samples from sampled distributions are observable, and the estimates have to rely on similarities computed between sets of points. To the best of our knowledge, the only existing technique with consistency guarantees for distribution regression requires kernel density estimation as an intermediate step (which often performs poorly in practice), and the domain of the distributions to be compact Euclidean. In this paper, we study a simple, analytically computable, ridge regression-based alternative to distribution regression, where we embed the distributions to a reproducing kernel Hilbert space, and learn the regressor from the embeddings to the outputs. Our main contribution is to prove that this scheme is consistent in the two-stage sampled setup under mild conditions (on separable topological domains enriched with kernels): we present an exact computational-statistical efficiency trade-off analysis showing that our estimator is able to match the one-stage sampled minimax optimal rate [Caponnetto and De Vito, 2007; Steinwart et al., 2009]. This result answers a 17-year-old open question, establishing the consistency of the classical set kernel [Haussler, 1999; Gaertner et. al, 2002] in regression. We also cover consistency for more recent kernels on distributions, including those due to [Christmann and Steinwart, 2010].

研究动机与目标

• 为解决在仅观测到分布样本的两阶段抽样设置下，分布回归中长期存在的理论一致性挑战。
• 建立一种计算高效且分析可处理的替代方法，以替代依赖核密度估计的现有方法。
• 证明基于岭回归的均值嵌入方法在两阶段抽样设置下可达到极小极大最优速率。
• 验证经典与现代核在分布上的致性，包括集合核以及Christmann和Steinwart提出的核。
• 为所提估计器提供精确的计算-统计效率权衡分析。

提出的方法

• 通过特征核将概率测度嵌入再生核希尔伯特空间（RKHS），从而实现分布间相似性的解析计算。
• 将嵌入后的分布作为输入，向量值输出作为标签，构建核岭回归问题。
• 估计器被定义为RKHS中正则化最小二乘问题的解析解，确保计算可处理性。
• 理论分析基于若干假设，包括输出有界性、核映射的霍尔德连续性，以及定义域的可分性与特征核的存在性。
• 该框架支持使用多种分布上的核，包括高斯、指数、柯西和逆多重二次核，通过其诱导的特征映射实现。
• 证明技术依赖于伯恩斯坦型条件，以及Caponnetto与De Vito（2007）和Steinwart等人（2009）已有的极小极大风险界。

实验结果

研究问题

• RQ1 基于均值嵌入的核岭回归方法是否能在两阶段抽样分布回归问题中实现一致性？
• RQ2 所提方法是否在两阶段抽样设置下达到回归的极小极大最优速率？
• RQ3 尽管集合核被广泛使用但缺乏理论保证，它在回归中是否一致？
• RQ4 在此框架下，计算成本与统计效率之间的精确权衡是什么？
• RQ5 在相同条件下，现代分布核（如Christmann和Steinwart提出的核）是否也实现一致性？

主要发现

• 在输出有界和核映射霍尔德连续的温和条件下，所提的基于均值嵌入的核岭回归方法在两阶段抽样设置下具有一致性。
• 该估计器达到了回归的极小极大最优速率，与Caponnetto与De Vito（2007）以及Steinwart等人（2009）建立的理论下界一致。
• 经典集合核 $ K(\bar{x}_i, \bar{x}_j) = \frac{1}{N^2} \sum_{n,m} k(x_{i,n}, x_{j,m}) $ 被证明在回归中具有一致性，解决了17年前的开放问题。
• 该方法实现了精确的计算-统计效率权衡，表明估计器的超额风险随样本量 $ l $ 和每分布样本量 $ N $ 以最优速率衰减。
• 该框架支持广泛的分布核，包括高斯、指数、柯西和逆多重二次核，所有这些核在温和的定义域假设下均满足所需的霍尔德连续性与有界性条件。
• 分析表明，即使真实回归函数不在RKHS中，只要输出分布满足伯恩斯坦型条件，核岭回归估计器仍具有一致性。