[论文解读] A Distribution-Free Test of Covariate Shift Using Conformal Prediction

Xiaoyu Hu, Jing Lei|arXiv (Cornell University)|Oct 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 11

一句话总结

本文提出了一种基于置信预测的非参数、分布自由检验方法，用于检测协变量偏移，利用一种新颖的符合性评分，在一般条件下实现有效且强大的假设检验。该方法在高维、大规模数据上表现良好，并能与现有分类算法无缝集成。

ABSTRACT

Covariate shift is a common and important assumption in transfer learning and domain adaptation to treat the distributional difference between the training and testing data. We propose a nonparametric test of covariate shift using the conformal prediction framework. The construction of our test statistic combines recent developments in conformal prediction with a novel choice of conformity score, resulting in a valid and powerful test statistic under very general settings. To our knowledge, this is the first successful attempt of using conformal prediction for testing statistical hypotheses. Our method is suitable for modern machine learning scenarios where the data has high dimensionality and large sample sizes, and can be effectively combined with existing classification algorithms to find good conformity score functions. The performance of the proposed method is demonstrated in synthetic and real data examples.

研究动机与目标

• 为在迁移学习和领域自适应中检测协变量偏移这一关键挑战提供解决方案，且不假设特定的数据分布。
• 开发一种在统计上有效且强大的检验方法，用于检测训练数据与测试数据之间的分布差异。
• 将置信预测框架扩展至假设检验，这是此前尚未实现的创新应用。
• 通过与现有分类模型结合并处理高维数据，实现现代机器学习中的实际部署。

提出的方法

• 该方法利用基于最近置信预测进展的新型符合性评分构建检验统计量。
• 借助置信预测框架，在假设最少的条件下确保有限样本下的有效性。
• 符合性评分被设计为与任何黑箱分类器兼容，从而可与现代学习算法集成。
• 该检验在非常一般的分布设定下运行，对模型误设具有鲁棒性。
• 该方法为非参数方法，无需密度估计或参数假设。

实验结果

研究问题

• RQ1 置信预测能否被有效重用于统计假设检验，特别是用于检测协变量偏移？
• RQ2 是否可能在无分布假设的前提下，构建一种有效且强大的协变量偏移非参数检验？
• RQ3 所提出的方法在高维和大样本机器学习场景下的表现如何？
• RQ4 该方法能否与现有分类算法集成，以保持实际可用性？

主要发现

• 所提出的检验在假设最少的条件下实现了有限样本有效性，即使在小样本或复杂数据集上也具有可靠性。
• 该方法在检测合成数据和真实世界数据中的协变量偏移方面表现出强大的经验功效。
• 与现有分类器的集成使得符合性评分估计更加高效，且不损害模型性能。
• 该方法具有可扩展性，适用于高维数据，解决了传统参数检验的关键局限。