[论文解读] Instance-Based Classification through Hypothesis Testing

Zengyou He, Chaohua Sheng+2 more|arXiv (Cornell University)|Jan 3, 2019

Machine Learning and Data Classification参考文献 24被引用 5

一句话总结

本文提出了一种新颖的基于实例的分类方法，将二分类问题建模为两样本假设检验，利用测试实例与每个类别训练实例之间的距离集。通过将Wilcoxon-Mann-Whitney检验应用于这些距离集，并将测试实例分配给p值较小的类别，该方法在实现与最先进分类器相当的性能的同时，能够进行统计显著性评估和错误发现率（FDR）控制。

ABSTRACT

Classification is a fundamental problem in machine learning and data mining. During the past decades, numerous classification methods have been presented based on different principles. However, most existing classifiers cast the classification problem as an optimization problem and do not address the issue of statistical significance. In this paper, we formulate the binary classification problem as a two-sample testing problem. More precisely, our classification model is a generic framework that is composed of two steps. In the first step, the distance between the test instance and each training instance is calculated to derive two distance sets. In the second step, the two-sample test is performed under the null hypothesis that the two sets of distances are drawn from the same cumulative distribution. After these two steps, we have two p-values for each test instance and the test instance is assigned to the class associated with the smaller p-value. Essentially, the presented classification method can be regarded as an instance-based classifier based on hypothesis testing. The experimental results on 40 real data sets show that our method is able to achieve the same level performance as the state-of-the-art classifiers and has significantly better performance than existing testing-based classifiers. Furthermore, we can handle outlying instances and control the false discovery rate of test instances assigned to each class under the same framework.

研究动机与目标

• 解决传统基于优化的分类器缺乏统计显著性评估的问题。
• 开发一种基于检验的分类框架，为分类决策提供p值。
• 实现对误分类测试实例的错误发现率（FDR）控制。
• 通过检测在两个类别中均不具有显著p值的实例，识别异常测试实例。
• 通过建立理论与实证联系，弥合假设检验与基于实例学习之间的差距。

提出的方法

• 该方法计算测试实例到所有训练实例的距离，并根据类别标签将距离划分为两组。
• 将分类问题表述为两样本假设检验，原假设为两组距离来自相同的累积分布函数。
• 对距离集应用Wilcoxon-Mann-Whitney（WMW）检验，计算两个p值——每个类别一个。
• 将测试实例分类至与较小p值相关的类别，表示更强的统计证据。
• 为减少无关或异常实例带来的噪声，该方法在检验前使用k-最近邻（k-NNs）形成距离集。
• 通过设定p值阈值，该框架可实现FDR控制，并检测非显著分类。

实验结果

研究问题

• RQ1 能否有效利用基于假设检验的框架实现具有统计严谨性的基于实例分类？
• RQ2 基于检验的分类器在真实世界数据上的性能与最先进基于优化的分类器相比如何？
• RQ3 所提出的方法能否检测出不属于任何类别的异常测试实例？
• RQ4 是否可以利用假设检验的p值控制分类结果的错误发现率（FDR）？
• RQ5 所提出方法与k-NN分类之间在理论和实证上存在何种关系？

主要发现

• 所提出方法在来自UCI和KEEL数据仓库的40个真实世界数据集上，分类性能与SVM等最先进分类器相当。
• 该方法通过在两个类别中均超过显著性阈值的p值，成功识别出异常测试实例。
• 该框架通过利用两样本检验的p值，实现了对预测结果错误发现率（FDR）的有效控制。
• 当正样本与负样本训练集大小相等时，该方法退化为k-NN的广义统计版本，在相同k-NN规则下产生完全相同的分类结果。
• 该方法的优先级检验变体在k-NN在两类间均匀分布时，与k-NN产生完全相同的分类决策，验证了其理论一致性。
• 该方法在真实数据上展现出实际可行性，克服了以往基于检验的分类器主要局限于模拟研究的局限性。