[논문 리뷰] A Witness Two-Sample Test

Jonas M. Kübler, Wittawat Jitkrittum외 2명|arXiv (Cornell University)|2021. 02. 10.

Machine Learning in Materials Science인용 수 2

한 줄 요약

이 논문은 훈련 데이터에서 최적의 일변도 위저드 함수를 학습하여 검정력(검정의 능력)을 극대화하고, 순열 기반 p-값을 사용하여 추론을 수행하는 새로운 이단계 비모수적 가설 검정인 위저드 두표본 검정(WiTS)을 제안한다. 이 방법은 허블스톤 보손 데이터셋을 포함한 시뮬레이션 및 실세계 데이터에서 MMD와 분류 기반 검정보다 뛰어난 성능을 보이며, 위저드 함수를 공동으로 최적화하고 과적합을 방지하면서 모든 데이터를 효율적으로 활용한다.

ABSTRACT

The Maximum Mean Discrepancy (MMD) has been the state-of-the-art nonparametric test for tackling the two-sample problem. Its statistic is given by the difference in expectations of the witness function, a real-valued function defined as a weighted sum of kernel evaluations on a set of basis points. Typically the kernel is optimized on a training set, and hypothesis testing is performed on a separate test set to avoid overfitting (i.e., control type-I error). That is, the test set is used to simultaneously estimate the expectations and define the basis points, while the training set only serves to select the kernel and is discarded. In this work, we propose to use the training data to also define the weights and the basis points for better data efficiency. We show that 1) the new test is consistent and has a well-controlled type-I error; 2) the optimal witness function is given by a precision-weighted mean in the reproducing kernel Hilbert space associated with the kernel; and 3) the test power of the proposed test is comparable or exceeds that of the MMD and other modern tests, as verified empirically on challenging synthetic and real problems (e.g., Higgs data).

연구 동기 및 목표

• 기존의 MMD 기반 두표본 검정이 커널 선택 후 훈련 데이터를 기각하는 데서 비롯되는 데이터 효율성의 한계를 해결하기 위해.
• 사전 지정된 또는 최적화된 커널에 의존하는 대신 문제에 특화된 위저드 함수를 학습하여 검정력을 향상시키기 위해.
• 이론적으로 탄탄한 일致성 있는 검정을 제공하고, 잘 통제된 유의수준 제어와 검정 통계량의 점근 정규성을 확보하기 위해.
• 두표본 검정에서 표준 머신러닝 기법을 활용한 함수 클래스 선택 및 하이퍼파ram터 튜닝을 가능하게 하기 위해.
• 학습된 위저드 함수가 커널 학습보다 검정력 측면에서 더 뛰어나다는 경험적 증거를 제시하기 위해.

제안 방법

• WiTS 검정은 훈련 세트에서 검정력 기준을 최대화함으로써 위저드 함수를 학습하며, 재생 핵 힐버트 공간(RKHS) 내 정밀도 가중 평균을 사용한다.
• 위저드 함수는 적합도와 부드러움을 균형 잡는 정규화 최적화 문제의 해로 정의되며, 일반화를 보장한다.
• 검정 통계량은 두 테스트 세트에 대해 위저드 함수를 평가한 표본 평균의 차이이며, 근본 가설과 대립 가설 하에서 점근적으로 정규 분포를 이룬다.
• 귀무분포는 순열 검정을 통해 근사화되어, 독립적인 테스트 세트가 필요 없이 유효한 유의수준 제어를 보장한다.
• 커널 최적화 이후 위저드 함수를 학습함으로써 딥 커널 MMD로 확장되며, 위저드의 엔드 투 엔드 학습이 가능해진다.
• 이 프레임워크는 커널에 국한되지 않은 어떤 함수 클래스에도 적용 가능하므로, 분류 및 회귀 도구와의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 훈련 데이터에서 일변도 위저드 함수를 학습하는 것이, 커널 최적화를 거친 표준 MMD보다 검정력을 향상시킬 수 있는가?
• RQ2 위저드 기반 두표본 검정은 더 높은 통계적 검정력을 확보하면서도 잘 통제된 유의수준 제어를 유지하는가?
• RQ3 실세계 및 시뮬레이션 데이터에서 WiTS 검정은 최적화된 커널을 사용한 MMD와 분류 기반 두표본 검정보다 어떻게 비교되는가?
• RQ4 특히 고차원 또는 대규모 설정에서 위저드 함수는 효율적이고 확장 가능한 방식으로 학습될 수 있는가?
• RQ5 WiTS 프레임워크는 현대적인 딥 커널 방법 및 기타 함수 클래스와 호환되는가?

주요 결과

• 허블스톤 보손 데이터셋에서 WiTS 검정은 최적의 딥 커널 MMD(opt-mmd-witness)보다 더 높은 통계적 검정력을 보이며, 중간 크기의 표본 크기에서 특히 두드러진다.
• 시뮬레이션된 Blobs 데이터셋에서 WiTS 방법(opt-mmd-witness 등)은 다양한 데이터 분할 비율에서 opt-mmd-boot 및 기타 베이스라인보다 뛰어난 성능을 보였다.
• Higgs 데이터셋에서 1,000개 이상의 표본이 각 클래스에 존재하는 실세계 및 시뮬레이션 베이스라인에서 위저드 기반 접근법은 MMD 및 분류 기반 검정(C2ST 등)을 일관되게 능가했다.
• 위저드 함수가 훈련 데이터에서 학습되더라도, 순열 기반 귀무분포 추정을 통해 잘 통제된 유의수준 제어를 유지했다.
• 최적의 위저드 함수는 수학적으로 RKHS 내 정밀도 가중 평균으로 나타나며, 이는 원칙적인 학습 목표를 제공한다.
• 프레임워크는 확장 가능하다: 500개의 중심을 사용한 Nyström 근사법을 적용했을 때 kfda-witness는 계산 비용을 줄이며 Higgs 데이터셋에서 높은 성능을 달성했다.