[논문 리뷰] Instance-Based Classification through Hypothesis Testing

Zengyou He, Chaohua Sheng외 2명|arXiv (Cornell University)|2019. 01. 03.

Machine Learning and Data Classification참고 문헌 24인용 수 5

한 줄 요약

이 논문은 이진 분류 문제를 두 개의 표본 가설 검정으로 재구성하는 새로운 인스턴스 기반 분류 방법을 제안한다. 이 방법은 테스트 인스턴스와 각 클래스의 학습 인스턴스 간의 거리 집합을 사용하며, Wilcoxon-Mann-Whitney 검정을 이러한 거리 집합에 적용하여, 더 작은 p-값을 가진 클래스에 테스트 인스턴스를 할당함으로써, 최신 기술 수준의 분류기들과 비교할 만한 성능을 달성한다. 동시에 통계적 유의성 평가와 거짓 발견률 제어도 가능하다.

ABSTRACT

Classification is a fundamental problem in machine learning and data mining. During the past decades, numerous classification methods have been presented based on different principles. However, most existing classifiers cast the classification problem as an optimization problem and do not address the issue of statistical significance. In this paper, we formulate the binary classification problem as a two-sample testing problem. More precisely, our classification model is a generic framework that is composed of two steps. In the first step, the distance between the test instance and each training instance is calculated to derive two distance sets. In the second step, the two-sample test is performed under the null hypothesis that the two sets of distances are drawn from the same cumulative distribution. After these two steps, we have two p-values for each test instance and the test instance is assigned to the class associated with the smaller p-value. Essentially, the presented classification method can be regarded as an instance-based classifier based on hypothesis testing. The experimental results on 40 real data sets show that our method is able to achieve the same level performance as the state-of-the-art classifiers and has significantly better performance than existing testing-based classifiers. Furthermore, we can handle outlying instances and control the false discovery rate of test instances assigned to each class under the same framework.

연구 동기 및 목표

• 기존 최적화 기반 분류기에서 통계적 유의성 평가의 부재를 해결하기 위해.
• 분류 결정에 대한 p-값을 제공하는 검정 기반 분류 프레임워크를 개발하기 위해.
• 오분류된 테스트 인스턴스에 대한 거짓 발견률(FDR) 제어를 가능하게 하기 위해.
• 모든 클래스에 대해 유의미한 p-값을 가지지 못하는 외곽 테스트 인스턴스를 탐지함으로써, 이상치 테스트 인스턴스를 처리하기 위해.
• 가설 검정과 인스턴스 기반 학습 사이의 격차를 해소하기 위해 이론적이고 경험적인 연결 고리를 수립하기 위해.

제안 방법

• 테스트 인스턴스에서 모든 학습 인스턴스까지의 거리를 계산하고, 클래스 레이블에 따라 두 개의 집합으로 분할한다.
• 분류 문제를 두 개의 표본 가설 검정으로 재구성하며, 귀무가설은 두 거리 집합이 동일한 누적분포에서 추출되었다는 것이다.
• 거리 집합에 Wilcoxon-Mann-Whitney(WMW) 검정을 적용하여 각 클래스에 대해 하나씩 총 두 개의 p-값을 계산한다.
• 테스트 인스턴스는 더 작은 p-값과 연관된 클래스에 할당되며, 이는 더 강한 통계적 증거를 의미한다.
• 무관하거나 이상치로 간주되는 인스턴스로부터 발생하는 노이즈를 줄이기 위해, 검정 이전에 k-최근접 이웃(k-NNs)을 사용해 거리 집합을 구성한다.
• p-값을 임계값으로 설정함으로써 FDR 제어가 가능하며, 비유의적 분류를 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 통계적 엄밀함을 확보하면서도 인스턴스 기반 분류에 효과적으로 가설 검정 프레임워크를 적용할 수 있는가?
• RQ2 실세계 데이터에서 검정 기반 분류기의 성능은 최신 기술 수준의 최적화 기반 분류기와 비교해 어떻게 되는가?
• RQ3 제안된 방법은 어떤 클래스에도 속하지 않는 이상치 테스트 인스턴스를 탐지할 수 있는가?
• RQ4 가설 검정에서 유도된 p-값을 활용해 분류 결과의 거짓 발견률(FDR)을 제어할 수 있는가?
• RQ5 제안된 방법과 k-NN 분류 간의 이론적이고 경험적인 관계는 어떠한가?

주요 결과

• 제안된 방법은 UCI 및 KEEL 레포지토리의 40개 실세계 데이터셋에서 SVM과 같은 최신 기술 수준의 분류기들과 비교해 유사한 분류 성능을 달성한다.
• 모든 클래스에 대해 유의미한 임계값을 초과하는 p-값을 가진 테스트 인스턴스가 이상치로 정확히 식별된다.
• 두 개의 표본 검정에서 유도된 p-값을 활용함으로써, 예측 결과에 대한 효과적인 거짓 발견률(FDR) 제어가 가능하다.
• 양성 및 음성 학습 집합의 크기가 동일할 경우, 이 방법은 동일한 k-NN 규칙을 적용할 때 동일한 분류 결과를 도출하는 일반화된 통계적 k-NN의 형태로 축소된다.
• 이 방법의 우선순위 검정 변형은 k-NN 이웃이 두 클래스에 균일하게 분포할 경우 k-NN와 동일한 분류 결정을 내리며, 이는 이론적 일致성을 검증한다.
• 이 방법은 실세계 데이터에서 실용적인 타당성을 입증하였으며, 이전의 검정 기반 분류기들이 주로 시뮬레이션 연구에 국한되어 있었던 한계를 극복한다.