[논문 리뷰] Fast Conditional Independence Test for Vector Variables with Large Sample Sizes

Krzysztof Chalupka, Pietro Perona외 1명|arXiv (Cornell University)|2018. 04. 08.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 10

한 줄 요약

이 논문은 고차원 벡터 데이터와 대규모 표본에서 조건부 이상성 조건을 효율적으로 테스트하기 위한 비모수적 방법인 빠른(조건부) 이상성 검정(FIT)을 소개한다. FIT는 기존의 커널 기반 및 순열 기반 방법보다 훨씬 빠른 계산 속도를 달성하면서도, 표본 크기가 증가할수록 유의미하게 낮은 제1종 오류 및 제2종 오류 비율을 유지하여, 유전체학이나 뇌영상 분석과 같은 대규모 데이터셋에서의 인과 추론에 이상적이다.

ABSTRACT

We present and evaluate the Fast (conditional) Independence Test (FIT) -- a nonparametric conditional independence test. The test is based on the idea that when $P(X \mid Y, Z) = P(X \mid Y)$, $Z$ is not useful as a feature to predict $X$, as long as $Y$ is also a regressor. On the contrary, if $P(X \mid Y, Z) eq P(X \mid Y)$, $Z$ might improve prediction results. FIT applies to thousand-dimensional random variables with a hundred thousand samples in a fraction of the time required by alternative methods. We provide an extensive evaluation that compares FIT to six extant nonparametric independence tests. The evaluation shows that FIT has low probability of making both Type I and Type II errors compared to other tests, especially as the number of available samples grows. Our implementation of FIT is publicly available.

연구 동기 및 목표

• 고차원 벡터 변수와 대규모 표본 크기에 적합한 확장 가능하고 비모수적 조건부 이상성 검정을 개발하기 위해.
• 대규모 데이터 환경에서 기존 커널 기반 및 순열 기반 CIT의 계산 병목 현상을 해결하기 위해.
• 다양한 데이터 분포와 표본 크기에서 FIT의 성능을 평가하여 제1종 및 제2종 오류 통제에 중점을 두기 위해.
• 인과 추론 및 통계적 추론을 위한 실용적이고 공개된 도구를 제공하기 위해.
• FIT이 표본 크기가 증가함에 따라 낮은 오류 비율과 빠른 런타임을 유지함을 보여주며, 일부 경쟁 방법들과는 달리 이와 같은 특성을 유지함을 입증하기 위해.

제안 방법

• FIT는 X를 Y와 Z에 대해 회귀하는 모델과 X를 Y에만 대해 회귀하는 모델의 평균제곱오차(MSE)를 비교하여 조건부 이상성을 테스트한다.
• 계산 효율성과 최소한의 하이퍼파rameter 튜닝으로 고차원 입력을 처리할 수 있는 점을 고려해, 결정트리 회귀(DTR)를 기반 학습기로 사용한다.
• p-값은 반응 변수 X를 무작위로 재배치하고, 관측된 MSE 차이를 이러한 무작위 재배치로부터 생성된 귀무분포와 비교하여 계산된다.
• 이 테스트는 비모수적이고 모델에 종속되지 않으며, 오직 Y를 고려할 때 Z의 예측 능력에 의존하여 조건부 의존성을 평가한다.
• FIT는 비용이 많이 드는 커널 행렬 연산을 피하기 위해 빠르고 미분 가능한 회귀 접근법을 사용하여, 100,000건 이상의 표본을 포함한 데이터셋으로의 확장성을 보장한다.
• 알고리즘은 파이썬으로 구현되었으며, 재현성과 인과 추론 파이프라인에의 통합을 위해 깃허브에서 공개되어 있다.

실험 결과

연구 질문

• RQ1 비모수적 조건부 이상성 검정이 대규모 표본 크기와 고차원 벡터 변수에 대해 낮은 제1종 및 제2종 오류 비율을 유지하면서도 확장 가능한가?
• RQ2 다양한 데이터 분포와 표본 크기에서 FIT의 오류 통제 및 런타임 성능이 여섯 가지 기존 비모수적 CIT들과 비교해 어떻게 되는가?
• RQ3 특히 고차원 환경에서 다양한 조건부 의존성 구조 하에서, 결정트리 회귀를 통한 MSE 향상에 기반한 FIT의 성능이 얼마나 견고한가?
• RQ4 표본 크기가 증가함에 따라 FIT의 p-값 행동은 어떻게 변화하는가? 그리고 渐近적 한계에서 올바른 통계적 성질을 유지하는가?
• RQ5 실제 응용에서 KCIT, CHSIC, 또는 RCIT와 같은 기존 방법들보다 FIT를 언제 선택해야 하는가?

주요 결과

• FIT는 여섯 가지 경쟁 방법보다 훨씬 빠른 런타임을 달성했으며, 특히 100,000개 표본을 가진 대규모 데이터셋에서, 다른 방법들이 수분 또는 수시간이 소요되는 동안 FIT는 몇 초 내에 테스트를 완료한다.
• 모든 테스트된 표본 크기와 데이터 분포에서 FIT는 낮은 제1종 및 제2종 오류 비율을 유지했으며, 표본 크기가 증가할수록 다른 방법들보다 뛰어난 성능을 보였다.
• RCIT는 더 큰 표본에서 p-값 행동이 악화되는 경향(균일 분포가 아님)을 보였지만, FIT는 귀무가설 하에서 균일한 p-값 분포를 유지하여 올바른 통계적 성질을 보였다.
• 고차원 설정(예: 128차원)에서는 FIT가 정확도와 속도 면에서 RCIT, CCI, KCIPT를 일관되게 능가했으며, RCIT는 1,000개 표본을 초과하면 더 이상 정확한 p-값 행동을 유지하지 못했다.
• 1,000개 이하의 표본을 가진 저차원 데이터에서는 CHSIC와 KCIT가 FIT를 능가했으며, 이는 소표본 영역에서 확장성과 성능 사이의 상충 관계를 시사한다.
• 저표본, 저차원 설정을 제외한 대규모 인과 추론 작업에서는 저자들이 FIT를 기본 선택지로 권장한다.