[논문 리뷰] Mimic and Classify : A meta-algorithm for Conditional Independence Testing

Rajat Sen, Karthikeyan Shanmugam외 3명|arXiv (Cornell University)|2018. 06. 25.

Machine Learning and Data Classification참고 문헌 3인용 수 8

한 줄 요약

이 논문은 조건부 이상성 테스팅을 위한 '모방하고 분류하기'(Mimic and Classify) 메타알고리즘을 소개한다. 이 방법은 먼저 조건부 이상성(CI) 분포에 가까운 분포를 딥 페어러티브 모델(예: 조건부 GAN 또는 신경망 회귀 모델)을 사용해 모의하고, 그 다음 분류기를 통해 진짜 결합 분포와 CI 분포를 구분한다. 이 방법은 합성 데이터 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, $d_z = 300$인 고차원 데이터에서 AUC 최대 0.835의 ROC-AUC 점수를 기록했고, 귀무분포에 대한 이론적 보장과 일반 측도 처리 능력을 제공한다.

ABSTRACT

Given independent samples generated from the joint distribution $p(\mathbf{x},\mathbf{y},\mathbf{z})$, we study the problem of Conditional Independence (CI-Testing), i.e., whether the joint equals the CI distribution $p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z})= p(\mathbf{z}) p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$ or not. We cast this problem under the purview of the proposed, provable meta-algorithm, "Mimic and Classify", which is realized in two-steps: (a) Mimic the CI distribution close enough to recover the support, and (b) Classify to distinguish the joint and the CI distribution. Thus, as long as we have a good generative model and a good classifier, we potentially have a sound CI Tester. With this modular paradigm, CI Testing becomes amiable to be handled by state-of-the-art, both generative and classification methods from the modern advances in Deep Learning, which in general can handle issues related to curse of dimensionality and operation in small sample regime. We show intensive numerical experiments on synthetic and real datasets where new mimic methods such conditional GANs, Regression with Neural Nets, outperform the current best CI Testing performance in the literature. Our theoretical results provide analysis on the estimation of null distribution as well as allow for general measures, i.e., when either some of the random variables are discrete and some are continuous or when one or more of them are discrete-continuous mixtures.

연구 동기 및 목표

• 기존 조건부 이상성 테스팅(CIT) 방법이 고차원 설정, 소표본 환경, 혼합 이산-연속 변수에서 가지는 한계를 해결하기 위해.
• 분포 모의와 분류를 분리하는 모듈러한, 이론적으로 타당한 프레임워크를 개발하여 최신의 생성 및 판별 모델을 자유롭게 통합할 수 있도록 하기 위해.
• 제안된 프레임워크 하에서 귀무분포의 이론적 분석을 제공하여 통계적 타당성을 확보하기 위해.
• 혼합 이산-연속 랜덤 변수를 포함한 일반 측도에서도 효과적인 CIT를 가능하게 하기 위해.
• 유전자 조절 네트워크 추론 및 단백질 신호 전달 네트워크 검증과 같은 실세계 원인 분석 작업에서 성능 향상을 위해.

제안 방법

• 이 방법은 두 단계로 구성된다: 첫째, 조건부 GAN 또는 신경망 기반 회귀 모델과 같은 딥 생성 모델을 사용해 CI 분포 $p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z}) = p(\mathbf{z})p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$를 모의한다.
• 둘째, 진짜 $p(\mathbf{x},\mathbf{y},\mathbf{z})$ 샘플과 모의된 $p^{CI}$ 분포에서 생성된 샘플을 구분하기 위해 이진 분류기를 훈련한다.
• 프레임워크는 모듈러하게 설계되어 있으며, 모의 단계와 분류 단계에 현대적인 딥 러닝 모델을 자유롭게 통합할 수 있도록 한다.
• 이론적 분석을 통해 귀무가설 $\mathcal{H}_0$ 하에서 검정 통계량의 귀무분포가 잘 근사됨을 보장하여 타당한 p-값을 제공한다.
• 밀도 추정에 의존하지 않기 때문에, 혼합 이산-연속 변수를 포함한 일반 측도를 처리할 수 있다.
• 합성 데이터, 플로우 세포 측정 데이터, DREAM 유전자 조절 네트워크 데이터셋을 사용해 ROC-AUC 기반 평가를 수행한다.

실험 결과

연구 질문

• RQ1 분포 모의와 분류를 조합한 이중 단계 메타알고리즘이 고차원 및 소표본 환경에서 기존 비모수 CIT 방법보다 뛰어난 성능을 내는가?
• RQ2 조건부 GAN과 신경망 회귀 모델이 조건부 집합이 고차원일 경우에도 CI 분포를 효과적으로 모의할 수 있는가?
• RQ3 모방하고 분류하기 프레임워크가 귀무분포에 대한 이론적 보장이 있는 타당한 통계적 추론을 제공하는가?
• RQ4 유전자 조절 네트워크 및 단백질 신호 전달 네트워크와 같은 혼합 이산-연속 변수를 포함한 실세계 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ5 밀도를 초월한 일반 확률 측도에서도 이 프레임워크를 일반화할 수 있는가?

주요 결과

• MIMIFY-REG는 플로우 세포 측정 데이터셋에서 ROC-AUC 0.7638을 기록하여 KCIT 및 CCIT를 포함한 모든 베이스라인을 능가했다.
• MIMIFY-GAN은 $d_z = 300$인 합성 후비선형 데이터에서 ROC-AUC 0.835를 기록했으며, RCIT 및 KCIT는 높은 계산 비용으로 인해 실패했다.
• DREAM 유전자 조절 네트워크 데이터셋에서 MIMIFY-REG는 ROC-AUC 0.61645를 기록했고, RCIT(0.53511)와 CCIT(0.42439)를 모두 초월했다.
• 이 방법은 고차원 설정에서도 강인한 성능을 보였으며, MIMIFY-GAN은 $d_z = 300$에서도 강력한 성능 유지를 보였고, KCIT는 계산 비가능성으로 인해 실행되지 못했다.
• 이론적 분석을 통해 프레임워크 하에서 검정 통계량의 귀무분포가 잘 근사됨을 확인하여 타당한 가설 검정이 가능함을 입증했다.
• 밀도 추정이나 커널 밴드위드 조정이 필요 없이, 혼합 이산-연속 변수를 포함한 일반 측도를 성공적으로 처리했다.