[논문 리뷰] Revisiting Classifier Two-Sample Tests

David López-Paz, Maxime Oquab|arXiv (Cornell University)|2016. 10. 20.

Machine Learning and Data Classification인용 수 59

한 줄 요약

이 논문은 이진 분류기를 두 샘플 가설 검정 도구로 재사용하는 새로운 방법인 분류기 두 샘플 검정(C2ST)을 소개한다. 이 방법은 두 데이터 샘플을 구분하도록 분류기를 훈련시켜, 검증 세트에서의 분류 정확도를 측정함으로써 해석 가능한 검정 통계량, 간단한 점근적 분포, 그리고 특성 중요도와 불확실성에 기반한 내재된 해석 가능성을 제공한다. 이는 생성 모델 평가에서 최고 수준의 성능을 달성하며, GAN을 활용한 원인-결과 발견과 같은 새로운 응용 분야를 가능하게 한다.

ABSTRACT

The goal of two-sample tests is to assess whether two samples, $S_P \sim P^n$ and $S_Q \sim Q^m$, are drawn from the same distribution. Perhaps intriguingly, one relatively unexplored method to build two-sample tests is the use of binary classifiers. In particular, construct a dataset by pairing the $n$ examples in $S_P$ with a positive label, and by pairing the $m$ examples in $S_Q$ with a negative label. If the null hypothesis "$P = Q$" is true, then the classification accuracy of a binary classifier on a held-out subset of this dataset should remain near chance-level. As we will show, such Classifier Two-Sample Tests (C2ST) learn a suitable representation of the data on the fly, return test statistics in interpretable units, have a simple null distribution, and their predictive uncertainty allow to interpret where $P$ and $Q$ differ. The goal of this paper is to establish the properties, performance, and uses of C2ST. First, we analyze their main theoretical properties. Second, we compare their performance against a variety of state-of-the-art alternatives. Third, we propose their use to evaluate the sample quality of generative models with intractable likelihoods, such as Generative Adversarial Networks (GANs). Fourth, we showcase the novel application of GANs together with C2ST for causal discovery.

연구 동기 및 목표

• 분류기 두 샘플 검정(C2ST)의 이론적 및 실용적 성질을 정립하여 기존의 두 샘플 검정에 비해 강력한 대안이 되도록 하는 것.
• 합성 및 실제 데이터, 특히 복잡하고 고차원적인 분포를 포함한 최첨단 기법들과의 성능 비교를 통해 C2ST의 성능을 평가하는 것.
• 이항 가능성이 없는 생성 모델(예: GAN)의 샘플 품질 평가를 위한 방법으로 C2ST를 제안하는 것.
• 조건부 GAN(CGAN)과 결합한 C2ST의 새로운 응용을 통해 원인-결과 추론에서의 원인-결과 발견을 가능하게 하는 것.

제안 방법

• 분포 P에서 유래한 n개의 샘플을 양성으로, 분포 Q에서 유래한 m개의 샘플을 음성으로 레이블링하여 이진 분류용 데이터셋을 구성한다.
• 이러한 병합된 데이터셋으로 이진 분류기를 훈련하고, 검증 세트에서의 정확도를 측정하여 검정 통계량을 형성한다.
• 분류기의 정확도를 검정 통계량으로 사용한다: H0(즉, P = Q) 하에서는 정확도가 우연 수준(~균형 클래스일 경우 50%)에 가까워야 한다.
• 분류기가 학습한 특성과 예측 불확실성을 활용하여 분포 P와 Q가 어디서 다른지 분석한다.
• 실제 데이터와 비교하여 GAN이 생성한 샘플을 평가하기 위해 C2ST를 적용한다.
• CGAN을 사용해 양방향 원인-결과 관계(X→Y 및 Y→X)를 모델링한 후, 더 단순하고 더 타당성이 높은 원인-결과 방향을 더 낮은 검정 통계량 기반으로 선택한다.

실험 결과

연구 질문

• RQ1 이진 분류기를 효과적으로 두 샘플 검정 도구로 재사용할 수 있는가? 이는 유리한 이론적 및 실용적 성질을 갖는가?
• RQ2 MMD, HSIC, IGCI와 같은 기존의 두 샘플 검정 기법들과 비교해 C2ST는 검정력과 해석 가능성 측면에서 어떻게 다른가?
• RQ3 이항 가능성이 없는 경우, 특히 이항 가능성이 없는 GAN의 샘플 품질 평가에 C2ST를 사용할 수 있는가?
• RQ4 CGAN과 결합한 C2ST는 추가 노이즈 가정 없이도 강력한 원인-결과 발견을 가능하게 하는가?

주요 결과

• C2ST는 두 샘플 검정에서 최첨단 성능을 달성하여 Tübingen 원인-결과 쌍 데이터셋에서 ANM-HSIC, IGCI, RCC와 같은 기법들을 능가한다.
• Tübingen 데이터셋에서 Ensemble-CGAN-C2ST 방법은 원인-결과 발견에서 82%의 정확도를 기록하여 RCC(76%)와 ANM-HSIC(67%)를 모두 초월했다.
• 특성 중요도와 예측 불확실성을 통해 C2ST는 분포 간 차이에 대한 해석 가능한 통찰을 제공하여 P와 Q가 어디서 다름을 분석할 수 있다.
• 이 방법은 높은 검정력과 강건성을 보이며, 단순한 점근적 귀무분포와 귀무가설 하에서 낮은 I종 오류 비율을 보인다.
• C2ST는 이항 가능성이 없는 모델(예: GAN)의 평가에 있어 이항 가능성을 계산할 필요 없이 효과적으로 기능하므로, 이항 가능성이 없는 GAN과 같은 모델에 매우 적합하다.
• CGAN과 C2ST의 조합은 제약이 많은 추가 노이즈 가정 없이도 새로운 비모수적 원인-결과 발견 방법을 가능하게 한다.