[论文解读] Learning from Survey Training Samples: Rate Bounds for Horvitz-Thompson Risk Minimizers

Stéphan Clémençon, Patrice Bertail+1 more|arXiv (Cornell University)|Oct 11, 2016

Statistical Methods and Inference参考文献 20被引用 8

一句话总结

本文通过引入霍维茨-汤普森（Horvitz-Thompson, HT）风险最小化器，将经验风险最小化（ERM）理论扩展至复杂调查抽样，以处理训练数据中不等的包含概率。在拒绝抽样（rejective sampling）下，建立了HT风险最小化器的泛化率 $ O_{\mathbb{P}}((\kappa_N \log N / n)^{1/2}) $，其中 $ \kappa_N = (n/N)/\min_i \pi_i $，并通过实验验证了忽略抽样设计会显著降低学习性能。

ABSTRACT

The generalization ability of minimizers of the empirical risk in the context of binary classification has been investigated under a wide variety of complexity assumptions for the collection of classifiers over which optimization is performed. In contrast, the vast majority of the works dedicated to this issue stipulate that the training dataset used to compute the empirical risk functional is composed of i.i.d. observations. Beyond the cases where training data are drawn uniformly without replacement among a large i.i.d. sample or modelled as a realization of a weakly dependent sequence of r.v.'s, statistical guarantees when the data used to train a classifier are drawn by means of a more general sampling/survey scheme and exhibit a complex dependence structure have not been documented yet. It is the main purpose of this paper to show that the theory of empirical risk minimization can be extended to situations where statistical learning is based on survey samples and knowledge of the related inclusion probabilities. Precisely, we prove that minimizing a weighted version of the empirical risk, refered to as the Horvitz-Thompson risk (HT risk), over a class of controlled complexity lead to a rate for the excess risk of the order $O_{\mathbb{P}}((κ_N (\log N)/n)^{1/2})$ with $κ_N=(n/N)/\min_{i\leq N}π_i$, when data are sampled by means of a rejective scheme of (deterministic) size $n$ within a statistical population of cardinality $N\geq n$, a generalization of basic {\it sampling without replacement} with unequal probability weights $π_i>0$. Extension to other sampling schemes are then established by a coupling argument. Beyond theoretical results, numerical experiments are displayed in order to show the relevance of HT risk minimization and that ignoring the sampling scheme used to generate the training dataset may completely jeopardize the learning procedure.

研究动机与目标

• 将经验风险最小化（ERM）理论扩展至由具有不等包含概率的复杂调查抽样方案生成的训练数据。
• 为使用霍维茨-汤普森加权方法在调查样本上训练的风险最小化器建立非渐近泛化界。
• 证明在训练数据中忽略抽样设计会严重降低学习性能。
• 通过耦合论证表明，拒绝抽样下的理论保证可推广至其他抽样方案。
• 通过在真实世界调查数据集上的实验提供实证验证。

提出的方法

• 提出一种加权经验风险函数，即霍维茨-汤普森（HT）风险，使用包含概率的倒数作为权重，以校正不等的抽样概率。
• 在具有受控复杂度的分类器类上分析ERM，最小化HT风险而非标准经验风险。
• 利用拒绝抽样下负相关随机变量的性质推导泛化界，拒绝抽样是不等概率无放回抽样的推广。
• 应用耦合论证，将拒绝抽样下的理论结果推广至其他抽样方案，包括分层抽样和Rao-Sampford抽样。
• 在真实调查数据集（如 incaIndiv、GJB、privacy3、privacy4）上进行数值实验，比较加权与非加权学习方法。
• 对较大数据集采用70%训练/测试划分，对较小数据集采用10折交叉验证，使用SVM和CART分类器评估预测误差。

实验结果

研究问题

• RQ1 经验风险最小化理论能否扩展至通过具有不等包含概率的一般调查抽样方案生成的训练数据？
• RQ2 在拒绝抽样下，HT风险最小化器的泛化率是多少？其对抽样设计的依赖关系如何？
• RQ3 当在训练过程中忽略抽样权重时，其对学习算法性能有何影响？
• RQ4 能否将拒绝抽样下推导出的理论界推广至分层抽样或Rao-Sampford抽样等其他抽样方案？
• RQ5 忽略抽样机制在多大程度上会降低学习模型的预测准确性？

主要发现

• 在拒绝抽样下，HT风险最小化器的过剩风险被限制在 $ O_{\mathbb{P}}((\kappa_N \log N / n)^{1/2}) $，其中 $ \kappa_N = (n/N)/\min_i \pi_i $，建立了非渐近泛化保证。
• 通过耦合论证，拒绝抽样下的理论结果可推广至其他抽样方案，如分层抽样和Rao-Sampford抽样。
• 数值实验表明，非加权学习（忽略抽样设计）的预测误差显著高于加权学习：例如，在 incaIndiv 数据集上SVM的误差为0.19 vs. 0.16，而在 privacy3 数据集上为0.52 vs. 0.46。
• 在所有数据集和模型中，加权学习始终优于非加权学习，其中在 privacy3 数据集上性能差距最大（SVM为0.52 vs. 0.46）。
• 在包含概率异质性较高的数据集中，忽略抽样权重导致的性能下降最为显著，证实了HT加权的必要性。
• 结果表明，若不考虑调查抽样机制，会严重损害基于此类数据训练的机器学习模型的可靠性和准确性。