[논문 리뷰] Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings

Ambrus Tamás, Balázs Csanád Csáji|arXiv (Cornell University)|2021. 03. 08.

Control Systems and Identification참고 문헌 25인용 수 2

한 줄 요약

이 논문은 조건부 커널 평균 임베딩을 사용하여 이元 분류의 회귀 함수에 대한 두 가지 분포 자유 가설 검정을 제안한다. 후보 회귀 함수에 기반하여 레이블을 재표본화하고 일致한 추정기를 활용함으로써, 임의의 표본 크기에서 정확한 제1종 오류 통제를 보장하며 점 渐차적 일致성을 확보하여 표본 크기가 증가함에 따라 제2종 오류 확률이 0으로 수렴하도록 한다.

ABSTRACT

In this paper we suggest two statistical hypothesis tests for the regression function of binary classification based on conditional kernel mean embeddings. The regression function is a fundamental object in classification as it determines both the Bayes optimal classifier and the misclassification probabilities. A resampling based framework is presented and combined with consistent point estimators of the conditional kernel mean map, in order to construct distribution-free hypothesis tests. These tests are introduced in a flexible manner allowing us to control the exact probability of type I error for any sample size. We also prove that both proposed techniques are consistent under weak statistical assumptions, i.e., the type II error probabilities pointwise converge to zero.

연구 동기 및 목표

• 기본 분포의 특정한 매개수 형태를 가정하지 않고도 유효한 이원 분류 회귀 함수에 대한 가설 검정을 개발하는 것.
• 모든 유한한 표본 크기에서 정확한 비점근적 제1종 오류 확률 통제를 보장하는 것.
• 표본 크기가 증가함에 따라 제2종 오류 확률이 0으로 수렴하도록 보장하는 점근적 일치성을 달성하는 것.
• 분류 모델에서의 불확실성 정량화 및 신뢰 영역 구축을 위한 프레임워크 제공

제안 방법

• 재생핵힐베르트공간(RKHS)에서 회귀 함수를 표현하기 위해 조건부 커널 평균 임베딩을 사용한다.
• 귀무가설 하에서 입력 분포를 유지하면서 레이블을 무작위로 재배치하는 재표본 기반 프레임워크를 적용한다.
• 재표본 데이터로부터 유도된 후보 함수들 사이에서 진짜 회귀 함수의 순위를 기반으로 검정 통계량을 구성한다.
• 두 가지 별개의 접근 방식을 적용: 하나는 벡터 값 커널 기법(VVKT)을 사용하고, 다른 하나는 조건부 확률의 점 추정치(PET)를 사용한다.
• 조건부 커널 평균 사상의 일致한 추정기를 구현하여 점근적 타당성을 확보한다.
• 사용자 지정의 유의수준 q/m을 사용하여 기각 영역을 정의하며, 모든 n에 대해 정확한 제1종 오류 확률이 q/m이 된다.

실험 결과

연구 질문

• RQ1 기본 분포의 특정한 매개수 형태를 가정하지 않고도 이원 분류의 회귀 함수에 대한 가설 검정을 구성할 수 있는가?
• RQ2 어떻게 하면 모든 유한한 표본 크기에서 제1종 오류 확률을 정확하게 통제할 수 있는가?
• RQ3 제안된 검정은 강한 점근적 일치성을 유지할 수 있는가, 즉 표본 크기가 증가함에 따라 제2종 오류 확률이 0으로 수렴하는가?
• RQ4 재표본화와 커널 임베딩은 분류 모델에 대한 분포 자유 추론을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 가설 검정은 정확한 비점근적 제1종 오류 통제를 달성한다: 임의의 표본 크기 n에 대해 제1종 오류 발생 확률은 정확히 q/m이다.
• 대립가설 하에서, 표본 크기가 무한해지는 극한에서 검정은 근본적으로 귀무가설을 기각한다. 이는 잘못된 회귀 함수가 거의 확실히 유한번만 수용된다는 것을 의미한다.
• 표본 크기 n이 무한으로 갈수록 제2종 오류 확률이 점근적으로 0으로 수렴함을 보여, 점근적 일치성을 입증한다.
• 수치 시뮬레이션은 방법의 일관성을 확인하며, 표본 크기가 증가함에 따라 진짜 회귀 함수가 점점 더 높은 순위로 평가됨을 보여준다.
• kNN 및 가우시안 커널 기반 추정기와 같은 다양한 추정 기법에 대해 강건하며, 작은 표본(n=50)에서도 잘 작동한다.
• 이 프레임워크는 불확실성 정량화를 지원하며, 분류 모델에서의 신뢰 영역 구축 기초로 사용될 수 있다.