[논문 리뷰] Revisiting Classifier Two-Sample Tests for GAN Evaluation and Causal Discovery

David López-Paz, Maxime Oquab|arXiv (Cornell University)|2016. 10. 20.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 이원 분류기를 사용하여 두 데이터 샘플이 동일한 분포에서 유래했는지 테스트하는 방법인 분류기 이원검정(C2ST)을 제안한다. 분포 P와 Q에서 유래한 샘플을 각각 양성 및 음성으로 레이블링하여 이원 분류기를 훈련시킴으로써, C2ST는 분류 정확도를 검정 통계량으로 활용하여 해석 가능하고, 간단한 귀무분포를 가지며, 분포가 다를 가능성이 있는 영역에 대한 불확실성 추정까지 제공한다. 이 방법은 효과적인 GAN 평가 및 인과적 발견에 기여한다.

ABSTRACT

The goal of two-sample tests is to assess whether two samples, $S_P \sim P^n$ and $S_Q \sim Q^m$, are drawn from the same distribution. Perhaps intriguingly, one relatively unexplored method to build two-sample tests is the use of binary classifiers. In particular, construct a dataset by pairing the $n$ examples in $S_P$ with a positive label, and by pairing the $m$ examples in $S_Q$ with a negative label. If the null hypothesis $P = Q$ is true, then the classification accuracy of a binary classifier on a held-out subset of this dataset should remain near chance-level. As we will show, such Classifier Two-Sample Tests (C2ST) learn a suitable representation of the data on the fly, return test statistics in interpretable units, have a simple null distribution, and their predictive uncertainty allow to interpret where $P$ and $Q$ differ. The goal of this paper is to establish the properties, performance, and uses of C2ST. First, we analyze their main theoretical properties. Second, we compare their performance against a variety of state-of-the-art alternatives. Third, we propose their use to evaluate the sample quality of generative models with intractable likelihoods, such as Generative Adversarial Networks (GANs). Fourth, we showcase the novel application of GANs together with C2ST for causal discovery.

연구 동기 및 목표

• 분류기 이원검정(C2ST)의 이론적 성질을 규명하여 기존의 전통적 이원검정에 대한 강력한 대안으로서의 가능성을 확립한다.
• 통계적 검정력과 신뢰성 측면에서 최신의 이원검정 방법들과의 성능을 평가한다.
• 이항 likelihood가 계산이 어려운 생성 모델(예: GAN)에서 샘플 품질 평가에 C2ST를 적용한다.
• GAN을 활용해 반사적 분포를 생성함으로써 C2ST의 새로운 응용을 제안한다.

제안 방법

• 분포 P에서 유래한 n개의 샘플을 양성으로, 분포 Q에서 유래한 m개의 샘플을 음성으로 레이블링하여 이원 분류용 데이터셋을 구성한다.
• 이러한 병합된 데이터셋을 기반으로 P와 Q 분포를 구분할 수 있도록 이원 분류기를 훈련한다.
• 검정용으로 사용된 테스트 세트에서의 분류기 정확도를 이원검정의 검정 통계량으로 사용한다.
• 귀무가설 H₀: P = Q는 분류기의 정확도가 우연의 수준(50%)을 유의미하게 초월할 경우 기각된다.
• 분류기의 예측 불확실성을 활용하여 P와 Q 분포가 다를 가능성이 있는 데이터 공간의 영역을 해석한다.
• C2ST를 두 가지 새로운 맥락에 적용한다: GAN으로 생성된 샘플 평가 및 반사적 생성을 통한 인과적 발견

실험 결과

연구 질문

• RQ1 기존의 이원검정과 비교할 때 C2ST의 통계적 검정력과 내성에 대해 어떻게 평가할 수 있는가?
• RQ2 이항 likelihood가 계산이 어려운 상황에서 C2ST는 GAN의 샘플 품질을 효과적으로 평가할 수 있는가?
• RQ3 C2ST는 어떻게 반사적 생성을 통해 인과관계를 탐지하는 데 활용될 수 있는가?
• RQ4 분류기의 불확실성은 P와 Q 분포 간의 차이를 이해하는 데 어떤 방식으로 기여하는가?

주요 결과

• C2ST는 귀무가설 P = Q 하에서 잘 정의된 귀무분포를 가지며, 간단하고 해석 가능한 검정 통계량을 제공한다.
• 이 방법은 명시적인 특징 공학 없이도 복잡하고 고차원적인 분포에 적응할 수 있도록 데이터 표현을 실시간으로 학습한다.
• 특히 고차원 설정에서 최신의 이원검정 방법들과 경쟁 가능한 성능을 기록한다.
• 예측 불확실성의 활용은 분포 간 차이가 발생하는 영역을 국소화할 수 있게 하여 P와 Q의 다름을 이해하는 데 도움을 준다.
• 이항 likelihood가 계산이 어려운 상황에서도 C2ST는 분포 불일치를 탐지함으로써 GAN으로 생성된 샘플의 평가에 효과적으로 활용된다.
• C2ST와 GAN을 조합함으로써, 생성된 반사적 샘플이 관측된 데이터 분포와 일치하는지 검증함으로써 새로운 인과적 발견 접근법을 가능하게 한다.