[논문 리뷰] The conditional permutation test

Thomas B. Berrett, Yi Wang외 2명|arXiv (Cornell University)|2018. 07. 14.

Bayesian Methods and Mixture Models인용 수 6

한 줄 요약

이 논문은 고차원적 교란요인 Z에 의해 X와 Y의 조건부 독립성을 평가하기 위한 조건부 순열 검정을 소개한다. 이 방법은 X 값의 비균일 순열을 수행하면서 Z에 대한 의존성을 유지함으로써, X|Z의 추정 조건부 분포를 순열 가중치를 안내하는 데 사용한다. 이 접근법은 추정 오차가 존재하더라도 타입 I 오류를 타당하게 제어하며, 조건부 랜덤화 검정과 동일한 오차 경계를 확보한다.

ABSTRACT

We propose a general new method, the \emph{conditional permutation test}, for testing the conditional independence of variables $X$ and $Y$ given a potentially high-dimensional random vector $Z$ that may contain confounding factors. The proposed test permutes entries of $X$ non-uniformly, so as to respect the existing dependence between $X$ and $Z$ and thus account for the presence of these confounders. Like the conditional randomization test of \citet{candes2018panning}, our test relies on the availability of an approximation to the distribution of $X \mid Z$---while \citet{candes2018panning}'s test uses this estimate to draw new $X$ values, for our test we use this approximation to design an appropriate non-uniform distribution on permutations of the $X$ values already seen in the true data. We provide an efficient Markov Chain Monte Carlo sampler for the implementation of our method, and establish bounds on the Type~I error in terms of the error in the approximation of the conditional distribution of $X\mid Z$, finding that, for the worst case test statistic, the inflation in Type I error of the conditional permutation test is no larger than that of the conditional randomization test. We validate these theoretical results with experiments on simulated data and on the Capital Bikeshare data set.

연구 동기 및 목표

• 표준 독립성 검정이 왜곡될 수 있는 고차원적 교란요인 Z가 존재하는 상황에서 조건부 독립성 검정의 과제를 해결하기 위해.
• 순열 과정에서 X와 Z 간의 의존성 구조를 존중하여, 교란으로 인한 잘못된 추론을 방지하기 위해.
• 조건부 분포 X|Z가 정확히 알려져 있지 않고 추정된 경우에도 타입 I 오류 제어를 보장하기 위해.
• 오차 보장을 유사하게 유지하면서 조건부 랜덤화 검정에 비해 계산적으로 효율적인 대안을 제공하기 위해.
• 모의 데이터와 실제 Capital Bikeshare 데이터를 통해 방법의 실증적 성능을 검증하기 위해.

제안 방법

• X|Z의 추정 조건부 분포를 사용하여 X에 대한 비균일 순열 계획을 제안함으로써, 관측된 X와 Z 간의 의존성을 유지한다.
• X|Z 근사치로 정의된 비균일 순열 분포에서 효율적으로 샘플링하기 위해 마르코프 체인 몬테카를로(MCMC) 샘플러를 설계한다.
• 추정된 X|Z를 사용하여 각 순열된 X 구성의 조건부 모델 하에서의 타당성에 반영된 순열 확률을 할당한다.
• 타입 I 오류 과잉 증가에 대한 이론적 경계를 설정하여, 동일한 추정 오차 하에서 조건부 랜덤화 검정보다 더 큰 오류 과잉이 발생하지 않음을 보여준다.
• 모의 데이터와 Capital Bikeshare 데이터셋에 대해 검증을 위해 이 검정을 적용하여 실증적 성능과 내구성을 확인한다.

실험 결과

연구 질문

• RQ1 교란요인 Z가 고차원적이고 오직 근사적으로 알려져 있을 때, 순열 기반 검정이 타입 I 오류를 타당하게 유지할 수 있는가?
• RQ2 X|Z 추정치에 의해 안내되는 비균일 순열은 조건부 독립성 검정에서 균일 순열보다 어떻게 향상되는가?
• RQ3 X|Z의 추정 오차와 조건부 순열 검정에서 발생하는 타입 I 오류 과잉 증가 사이의 이론적 관계는 무엇인가?
• RQ4 조건부 랜덤화 검정과 비교할 때 조건부 순열 검정의 성능과 오류 제어 능력은 어떠한가?
• RQ5 제안된 방법은 복잡한 교란 요인 구조를 가진 실제 데이터셋에 대해 효율적으로 구현하고 적용될 수 있는가?

주요 결과

• 조건부 순열 검정은 조건부 분포 X|Z의 추정이 존재하더라도 타입 I 오류 제어를 유지하며, 오류 과잉은 조건부 랜덤화 검정과 유사한 경계로 제한된다.
• 가장 악성의 검정 통계량에 대해, 동일한 X|Z 근사치를 사용할 경우 타입 I 오류 과잉의 최대치는 조건부 랜덤화 검정의 것과 같거나 더 작다.
• MCMC 샘플러를 통해 비균일 순열의 효율적 구현이 가능하여, 고차원 Z에 대해서도 확장 가능한 방법이 된다.
• 모의 데이터에 대한 실증 검증을 통해 이론적 오차 경계가 실생활에서도 성립함을 확인하였다.
• Capital Bikeshare 데이터셋에 적용한 결과, 복잡한 교란 요인을 가진 실세계 환경에서 이 방법의 유용성이 입증되었다.