[논문 리뷰] Model-Powered Conditional Independence Test

Rajat Sen, Ananda Theertha Suresh외 3명|arXiv (Cornell University)|2017. 09. 18.

Statistical Methods and Inference참고 문헌 1인용 수 25

한 줄 요약

이 논문은 강력한 분류기(예: 그래디언트 부스팅 트리 및 딥 네URAL 네트워크)를 사용하여 조건부 인력 테스트를 이진 분류 문제로 재구성하는 모델 기반 조건부 인력 테스트(CCIT)를 제안한다. 근접 이웃 부트스트랩 기법을 도입하여 조건부 곱 분포에서 표본을 생성함으로써, 특히 고차원 설정에서 이전 방법들보다 뛰어난 성능을 달성하며, 표본 품질과 일반화 오차에 대한 이론적 보장을 제공한다.

ABSTRACT

We consider the problem of non-parametric Conditional Independence testing (CI testing) for continuous random variables. Given i.i.d samples from the joint distribution $f(x,y,z)$ of continuous random vectors $X,Y$ and $Z,$ we determine whether $X \perp Y | Z$. We approach this by converting the conditional independence test into a classification problem. This allows us to harness very powerful classifiers like gradient-boosted trees and deep neural networks. These models can handle complex probability distributions and allow us to perform significantly better compared to the prior state of the art, for high-dimensional CI testing. The main technical challenge in the classification problem is the need for samples from the conditional product distribution $f^{CI}(x,y,z) = f(x|z)f(y|z)f(z)$ -- the joint distribution if and only if $X \perp Y | Z.$ -- when given access only to i.i.d. samples from the true joint distribution $f(x,y,z)$. To tackle this problem we propose a novel nearest neighbor bootstrap procedure and theoretically show that our generated samples are indeed close to $f^{CI}$ in terms of total variational distance. We then develop theoretical results regarding the generalization bounds for classification for our problem, which translate into error bounds for CI testing. We provide a novel analysis of Rademacher type classification bounds in the presence of non-i.i.d near-independent samples. We empirically validate the performance of our algorithm on simulated and real datasets and show performance gains over previous methods.

연구 동기 및 목표

• 고차원 설정에서 연속 랜덤 변수에 대한 비모수적 조건부 인력 테스트 문제를 해결하기 위해.
• 오직 진짜 결합 분포에서의 i.i.d. 표본만 제공될 때 조건부 곱 분포 $f^{CI}(x,y,z) = f(x|z)f(y|z)f(z)$ 에서 표본을 생성하는 데 어려움을 해결하기 위해.
• 그래디언트 부스팅 트리 및 딥 네URAL 네트워크와 같은 현대 지도 학습 모델을 활용하여 CI 테스트 성능을 향상시키기 위해.
• 부트스트랩 표본의 품질과 테스트에 사용된 분류기의 일반화 오차에 대한 이론적 보장을 제공하기 위해.
• 합성 및 실세계 데이터셋에서의 실험적 검증을 통해, CI 테스트 분야에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 조건부 인력 테스트 문제를 원본 i.i.d. 표본과 조건부 곱 분포에서 생성된 합성 표본을 구분하는 이진 분류 작업으로 변환한다.
• 오직 원본 $2n$개의 i.i.d. 표본만을 사용하여, 근접 이웃 부트스트랩 절차를 통해 $n$개의 합성 표본을 $f^{CI}(x,y,z)$ 에서 생성함으로써, 총 변화 거리에서 $f^{CI}$ 에 가까운 표본을 확보한다.
• 원본 표본은 1(의존적)으로, 부트스트랩으로 생성된 표본은 0(조건부 독립적)으로 레이블링하여 분류기의 학습 데이터셋을 구성한다.
• XGBoost나 딥 네URAL 네트워크와 같은 강력한 분류기를 레이블된 데이터셋에 대해 학습시켜 두 분포 간의 차이를 학습한다.
• 학습된 분류기의 테스트 오차를 통계적 검정 통계량으로 사용한다: 낮은 오차는 $\mathcal{H}_0$를 기각한다 (즉, $X \not\perp Y|Z$), 높은 오차는 $\mathcal{H}_0$를 기각하지 못한다.
• 비-i.i.d. 근접 독립 표본 하에서 분류 문제에 대한 이론적 리스크 경계를 제공하며, 이를 CI 테스트의 오차 경계로 번역한다.

실험 결과

연구 질문

• RQ1 지도 학습을 활용한 모델 기반 접근법이 고차원 설정에서 비모수적 조건부 인력 테스트의 검정력과 정확도를 향상시킬 수 있는가?
• RQ2 오직 진짜 결합 분포에서의 i.i.d. 표본만 제공될 때, 조건부 곱 분포 $f^{CI}(x,y,z)$ 에서 표본을 효율적으로 생성할 수 있는 방법은 무엇인가?
• RQ3 비-i.i.d. 표본 추출 조건 하에서 부트스트랩 표본의 품질과 분류기의 일반화 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 RCIT, KCIT, CCIT 와 같은 기존 CI 테스트 방법들과 비교해 볼 때, 제안된 방법은 다양한 차원과 표본 크기에서 통계적 검정력과 내성에 대해 어떻게 성능을 발휘하는가?
• RQ5 불확실한 진짜 원인 구조를 가진 상황에서, 예를 들어 유량세포 분석 데이터셋과 같이 실세계 데이터에서의 성능은 어느 정도인가? 특히 원인 관계를 검증할 때의 CI 관계 검증에 대해.

주요 결과

• 유량세포 분석 데이터셋에서 유도된 세 개의 원인 그래프에서 CCIT는 RCIT와 KCIT보다 높은 ROC AUC 스코어를 기록하였으며, 각각 그래프 ii에서 0.7778, 그래프 iii에서 0.7156, 그래프 i에서 0.6848을 기록하였다.
• 표본 수 $n=1000$ 인 합성 후비선형 노이즈 데이터에서, CCIT는 모든 테스트된 $Z$ 차원에서 RCIT와 KCIT를 초월하여 일관된 우월성을 보였다. 이는 고차원 CI 테스트에서의 뛰어난 성능을 입증한다.
• 근접 이웃 부트스트랩 절차는 이론적으로 정당화되고 실험적으로 검증됨으로써, 총 변화 거리에서 $f^{CI}$ 와 가까운 표본을 성공적으로 생성하였다.
• 이론적 분석을 통해 비-i.i.d. 근접 독립 표본 하에서 분류 문제에 대한 일반화 경계를 확립하였으며, 이는 테스트의 오차 통제에 대한 엄밀한 기반을 제공한다.
• 진짜 원인 구조에 오류가 있을 경우, 예를 들어 (pkc-raf), (pkc-mek), (pka-p38) 와 같은 임의의 간선이 존재하더라도, 이 방법은 강력한 성능을 유지하며 이러한 간선들을 일관되게 기각하였다.
• 조건부 집합 $Z$ 의 차원이 10 미만이어도 알고리즘이 뛰어난 성능을 유지함으로써, 중간에서 고차원 설정에서의 효과성을 입증하였다.