[논문 리뷰] Double Generative Adversarial Networks for Conditional Independence Testing

Chengchun Shi, Tianlin Xu외 2명|arXiv (Cornell University)|2020. 06. 03.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 고차원 조건부 독립성 검정을 위한 이중 생성적 적대적 네트워크(GAN) 프레임워크를 제안한다. 두 개의 GAN을 활용해 X|Z와 Y|Z의 조건부 분포를 모델링하고, 일반화된 공분산 측도를 바탕으로 검정 통계량을 구성한다. 이 방법은 약한 실용적 조건 하에서 점점 더 유효한 제1종 오류 통제를 달성하고 대립가설 하에서 검정력이 1에 수렴함을 보이며, 이는 기존 방법들과 비교해 뛰어난 강건성과 경험적 성능을 보인다.

ABSTRACT

In this article, we study the problem of high-dimensional conditional independence testing, a key building block in statistics and machine learning. We propose an inferential procedure based on double generative adversarial networks (GANs). Specifically, we first introduce a double GANs framework to learn two generators of the conditional distributions. We then integrate the two generators to construct a test statistic, which takes the form of the maximum of generalized covariance measures of multiple transformation functions. We also employ data-splitting and cross-fitting to minimize the conditions on the generators to achieve the desired asymptotic properties, and employ multiplier bootstrap to obtain the corresponding $p$-value. We show that the constructed test statistic is doubly robust, and the resulting test both controls type-I error and has the power approaching one asymptotically. Also notably, we establish those theoretical guarantees under much weaker and practically more feasible conditions compared to the existing tests, and our proposal gives a concrete example of how to utilize some state-of-the-art deep learning tools, such as GANs, to help address a classical but challenging statistical problem. We demonstrate the efficacy of our test through both simulations and an application to an anti-cancer drug dataset. A Python implementation of the proposed procedure is available at https://github.com/tianlinxu312/dgcit.

연구 동기 및 목표

• 혼동요인 Z가 다변량이며 잠재적으로 고차원일 수 있는 고차원 설정에서의 조건부 독립성 검정 문제를 다루기.
• 고차원성과 작은 표본 크기로 인해 기존 검정이 제1종 오류가 과도하게 증가하거나 검정력이 낮아지는 문제를 해결하기.
• 최소한의 가정 하에서도 점진적으로 타당한 검정 결과를 유지하는 통계적으로 엄밀한 딥러닝 기반 추론 절차 개발.
• 이론적 보장을 확보하고 실용적 강건성을 높이기 위해 GAN, 데이터 분할, 크로스피팅, 승수 부트스트랩 등의 고급 도구 통합.
• 모의 데이터와 실제 암 억제 약물 데이터셋을 통해 방법의 효과성 입증.

제안 방법

• 딥 뉴럴 네트워크를 사용해 조건부 분포 P(X|Z)와 P(Y|Z)를 근사하는 두 개의 생성기 모델을 학습하는 이중 GAN 프레임워크 제안.
• X와 Y의 다중 변환 함수에 대한 일반화된 공분산 측도(GCM)의 최대값으로 검정 통계량을 구성하여 복잡한 조건부 의존성 탐지 가능.
• 추정과 추론을 분리하기 위해 데이터 분할과 크로스피팅을 활용해 생성기 수렴 속도에 대한 의존도를 줄이고 더 약한 가정 가능하게 함.
• 승수 부트스트랩을 사용해 검정 통계량에 대한 정확한 p-값을 계산하여 귀무가설 하에서 유효한 추론 확보.
• 두 조건부 분포 모델을 통합한 이중 강건 추정을 통해 모형 오Specification에 대한 내성 향상.
• 신경망의 보편 근사 성질을 활용해 대립가설 하에서 비영인 일반화된 공분산 존재를 정당화함.

실험 결과

연구 질문

• RQ1 약한 정규성 조건 하에서 딥 생성 모형 기반 접근법이 고차원 조건부 독립성 검정에서 유효한 제1종 오류 통제를 달성할 수 있는가?
• RQ2 Z가 고차원이고 표본 크기가 제한적인 상황에서 제안된 이중 GAN 프레임워크가 높은 통계적 검정력을 유지하는가?
• RQ3 일반화된 공분산 측도에 기반한 검정 통계량이 기존 선형 검정이 놓칠 수 있는 비선형적이고 복잡한 조건부 의존성을 탐지할 수 있는가?
• RQ4 데이터 분할과 크로스피팅의 통합이 GAN 기반 추론 절차의 이론적 보장에 어떻게 기여하는가?
• RQ5 GAN이 모델링하는 조건부 분포에 대한 오Specification에 대해 이 방법이 어느 정도 강건한가?

주요 결과

• 제안된 검정은 기존 방법보다 훨씬 약한 조건 하에서도 점차적으로 제1종 오류 비율을 통제함으로써 실용적으로 더 타당한 접근이 됨.
• 대립가설 하에서 점차적으로 검정력이 1에 수렴함을 확인하여 조건부 의존성 탐지 능력이 뛰어남.
• 검정 통계량은 이중 강건성(doubly robust)을 가지며, X|Z 또는 Y|Z 생성기 중 하나만 일致하게 추정되어도 유효함으로써 신뢰성 향상.
• 모의 실험 결과, 특히 Z가 고차원인 설정에서 여러 경쟁 검정보다 높은 검정력을 보임.
• 실제 암 억제 약물 데이터셋에 대한 경험적 검증을 통해 생물학적·의학적 연구 분야에서의 실용적 유용성 입증.
• 이론적 분석을 통해 귀무가설 하에서 검정 통계량이 비퇴도 분포로 수렴함을 확인하여 승수 부트스트랩을 통한 유효한 p-값 계산 가능함.