[논문 리뷰] A Scalable Conditional Independence Test for Nonlinear, Non-Gaussian Data

Joseph Ramsey|arXiv (Cornell University)|2014. 01. 20.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 39

한 줄 요약

이 논문은 비선형성과 비정규성을 가지는 데이터에 대해 확장 가능한 O(N²) 조건부 이상성 검정인 조건부 상관계수 이상성(CCI)을 제안한다. 기존의 커널 기반 방법인 KCI에 비해 계산 효율성이 크게 향상되면서도 유사한 정확도를 유지한다. 이 방법은 계산적으로 다루기 쉬운 프레임워크에서 조건부 상관계수를 활용함으로써 대규모 데이터셋에서 고차원적 인과관계 탐색을 가능하게 한다.

ABSTRACT

Many relations of scientific interest are nonlinear, and even in linear systems distributions are often non-Gaussian, for example in fMRI BOLD data. A class of search procedures for causal relations in high dimensional data relies on sample derived conditional independence decisions. The most common applications rely on Gaussian tests that can be systematically erroneous in nonlinear non-Gaussian cases. Recent work (Gretton et al. (2009), Tillman et al. (2009), Zhang et al. (2011)) has proposed conditional independence tests using Reproducing Kernel Hilbert Spaces (RKHS). Among these, perhaps the most efficient has been KCI (Kernel Conditional Independence, Zhang et al. (2011)), with computational requirements that grow effectively at least as O(N3), placing it out of range of large sample size analysis, and restricting its applicability to high dimensional data sets. We propose a class of O(N2) tests using conditional correlation independence (CCI) that require a few seconds on a standard workstation for tests that require tens of minutes to hours for the KCI method, depending on degree of parallelization, with similar accuracy. For accuracy on difficult nonlinear, non-Gaussian data sets, we also compare a recent test due to Harris & Drton (2012), applicable to nonlinear, non-Gaussian distributions in the Gaussian copula, as well as to partial correlation, a linear Gaussian test.

연구 동기 및 목표

• 기존의 커널 기반 조건부 이상성 검정, 예를 들어 KCI와 같이 대규모 고차원 데이터셋에서 계산적으로 비현실적인 문제를 해결하기 위해.
• 비선형성과 비정규성 분포 하에서도 정확도를 유지하면서도 확장 가능한 가우시안 및 커널 기반 검정의 대안을 개발하기 위해.
• 선형성과 정규성 가정이 실패하는 실제 데이터, 예를 들어 fMRI BOLD 신호와 같은 분야에서 실용적인 인과관계 탐색을 가능하게 하기 위해.
• 어려운 비선형성과 비정규성 데이터에서 CCI가 KCI, 부분 상관계수, Harris & Drton의 코풀라 기반 검정과 비교하여 성능을 어떻게 보이는지 평가하기 위해.
• 복잡한 데이터 환경에서 O(N²) 계산 복잡도가 높은 정확도의 조건부 이상성 검정을 위해 충분한지 확인하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 프레임워크 기반의 조건부 상관계수 이상성(CCI) 검정을 제안한다.
• 두 단계 추정 절차를 사용한다: 먼저 조건부 평균 함수를 추정하고, 그 다음 잔차 상관계수를 바탕으로 검정 통계량을 계산한다.
• 분포 가정 없이도 강건한 결과를 얻기 위해 순열 기반 p-값 근사를 사용한다.
• 커널 행렬 연산을 단순화하고 전체 고유분해를 피름으로써 KCI의 O(N³)에서 CCI의 O(N²)로 계산 비용을 감소시킨다.
• 커널 행렬에 대해 저랭크 근사를 적용하여 계산 속도를 더욱 향상시키면서도 검정의 능력을 유지한다.
• 알려진 비선형성과 비정규성 구조를 가진 시뮬레이션 데이터와 실제 fMRI 데이터를 사용하여 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 O(N²) 계산 복잡도로도 비선형성과 비정규성을 가지는 데이터에서 높은 정확도를 달성할 수 있는 조건부 이상성 검정이 가능한가?
• RQ2 대규모 데이터셋에서 제안된 CCI 검정이 KCI 및 기타 최신 기법들과 비교하여 성능과 속도 면에서 어떻게 성과를 내는가?
• RQ3 伝통적인 선형성 또는 정규성 가정이 실패하는 고차원 설정에서도 CCI 방법이 신뢰성 있는가?
• RQ4 복잡한 비선형 의존성 하에서 유형 I 및 유형 II 오류 비율을 어느 정도 유지하는가?
• RQ5 비선형성과 비정규성이 두드러지는 실제 신경영상 데이터, 예를 들어 fMRI BOLD 신호에 대해 CCI 검정이 효과적으로 적용될 수 있는가?

주요 결과

• CCI 검정은 비선형성과 비정규성을 가지는 데이터에서 KCI와 유사한 정확도를 달성하면서도 대규모 데이터셋에서 계산 시간을 수 시간에서 수 초로 단축시킨다.
• 수천 개의 샘플이 있는 데이터셋에서 CCI는 몇 초 내로 조건부 이상성 검정을 완료하지만, KCI는 수십 분에서 수 시간이 소요된다.
• 강한 비선형 의존성 하에서도 CCI는 KCI 및 Harris & Drton의 코풀라 기반 검정과 유사한 유형 I 및 유형 II 오류 비율을 유지한다.
• 고차원 설정에서는 부분 상관계수와는 달리 CCI가 비선형성 또는 비정규성 조건에서도 성능을 유지를 한다.
• CCI에서 저랭크 근사를 사용함으로써 검정의 능력을 유지하면서도 대규모 샘플 크기에 대한 확장성을 확보한다.
• fMRI 데이터에 대한 실증 결과는 선형 방법이 놓치는 의미 있는 조건부 이상성 관계를 CCI가 탐지할 수 있음을 보여준다.