[论文解读] Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings

Ambrus Tamás, Balázs Csanád Csáji|arXiv (Cornell University)|Mar 8, 2021

Control Systems and Identification参考文献 25被引用 2

一句话总结

该论文提出两种基于条件核矩量嵌入的无分布假设检验方法，用于二分类中的回归函数检验。通过基于候选回归函数的标签重采样并利用一致估计量，这些检验在任意样本量下均能保证精确的 I 类错误控制，并实现渐近一致性，确保当样本量增加时 II 类错误概率收敛于零。

ABSTRACT

In this paper we suggest two statistical hypothesis tests for the regression function of binary classification based on conditional kernel mean embeddings. The regression function is a fundamental object in classification as it determines both the Bayes optimal classifier and the misclassification probabilities. A resampling based framework is presented and combined with consistent point estimators of the conditional kernel mean map, in order to construct distribution-free hypothesis tests. These tests are introduced in a flexible manner allowing us to control the exact probability of type I error for any sample size. We also prove that both proposed techniques are consistent under weak statistical assumptions, i.e., the type II error probabilities pointwise converge to zero.

研究动机与目标

• 开发适用于最小分布假设下的二分类回归函数假设检验方法。
• 确保在任意有限样本量下，I 类错误概率的精确非渐近控制。
• 实现渐近一致性，确保当样本量增加时 II 类错误概率收敛于零。
• 为分类模型提供不确定性量化和置信区域构建的框架。

提出的方法

• 使用条件核矩量嵌入将回归函数表示在再生核希尔伯特空间（RKHS）中。
• 采用基于重采样的框架，在原假设下随机置换标签，从而保持输入分布不变。
• 基于真实回归函数在由重采样数据导出的候选函数中的排名构造检验统计量。
• 应用两种不同方法：一种使用向量值核技术（VVKT），另一种使用条件概率的点估计（PET）。
• 采用一致估计量对条件核矩量映射进行估计，确保渐近有效性。
• 使用用户选择的显著性水平 q/m 定义拒绝域，且对所有 n，I 类错误概率恰好为 q/m。

实验结果

研究问题

• RQ1 我们能否构建适用于二分类回归函数的假设检验方法，且无需假设底层分布的具体参数形式？
• RQ2 如何确保在任意有限样本量下，I 类错误概率的精确控制？
• RQ3 所提出的检验方法是否能保持强渐近一致性，即确保当样本量增加时 II 类错误概率趋于零？
• RQ4 重采样与核嵌入在实现分类模型无分布推断中起到何种作用？

主要发现

• 所提出的假设检验实现了精确的非渐近 I 类错误控制：对于任意样本量 n，I 类错误概率恰好为 q/m。
• 在备择假设下，检验在极限情况下以概率 1 拒绝原假设，意味着虚假回归函数几乎必然仅被接受有限次。
• 当样本量 n 趋于无穷时，II 类错误概率以点态方式收敛于零，表明具有渐近一致性。
• 数值模拟验证了方法的一致性，显示随着样本量增加，真实回归函数的排名逐渐最高。
• 该方法对不同估计技术（包括 kNN 和基于高斯核的估计器）均具有鲁棒性，且在小样本（n=50）下表现良好。
• 该框架支持不确定性量化，可作为构建分类模型中置信区域的基础。