[논문 리뷰] A Kernel Test for Three-Variable Interactions

Dino Sejdinović, Arthur Gretton외 1명|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|2013. 06. 10.

Bayesian Modeling and Causal Inference참고 문헌 34인용 수 25

한 줄 요약

이 논문은 복소수 측도의 재생 힐버트 공간(RKHS) 임bedding을 사용하여 세 변수 간 상호작용을 위한 커널 기반 비모수적 검정을 제안한다. 이는 비가산적이고 고차원의 의존성을 일관되게 탐지할 수 있도록 한다. 랜카스터 상호작용 검정은 개별 원인이 공통된 영향을 약하게 유도하지만 함께 작용할 경우 강한 의존성을 유도하는 V-구조를 탐지하는 데 이중 및 조건부 독립성 검정보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce kernel nonparametric tests for Lancaster three-variable interaction and for total independence, using embeddings of signed measures into a reproducing kernel Hilbert space. The resulting test statistics are straightforward to compute, and are used in powerful interaction tests, which are consistent against all alternatives for a large family of reproducing kernels. We show the Lancaster test to be sensitive to cases where two independent causes individually have weak influence on a third dependent variable, but their combined effect has a strong influence. This makes the Lancaster test especially suited to finding structure in directed graphical models, where it outperforms competing nonparametric tests in detecting such V-structures.

연구 동기 및 목표

• 이중 독립성 이외의 비가산적이고 고차원의 의존성을 탐지할 수 있는 비모수적 세 변수 간 상호작용 검정을 개발하는 것.
• 기존 검정 방법이 두 개별적으로 독립적인 원인이 제3의 변수에 약한 영향을 미치지만 함께 작용할 경우 강한 영향을 미치는 경우를 식별하는 데 한계를 보이는 문제를 해결하는 것.
• 다변량 및 구조화된 데이터, 비유클리드 영역을 포함한 다양한 환경에 적용 가능한 일관된 커널 기반 검정을 제공하는 것.
• 조건부 독립성 검정보다 더 효과적으로 V-구조를 탐지함으로써 유도 그래픽 모델의 구조 학습을 향상시키는 것.
• 재생 힐버트 공간(RKHS) 내 복소수 측도 임bedding을 사용하여 힐버트-슈미트 독립성 기준(HSIC)을 세 방향 상호작용으로 일반화하는 것.

제안 방법

• 세 변수 상호작용(랜카스터 상호작용)을 나타내는 복소수 측도를 텐서 곱 커널을 사용하여 재생 힐버트 공간(RKHS)에 임베딩하는 것.
• 임베딩된 복소수 측도의 제곱 RKHS 노름을 검정 통계량으로 정의하며, 이는 유일하게 연관 분포의 모든 세 번째 순서 인수 분해가 만족될 때 0이 된다.
• 영가설(세 변수 간 상호작용 없음)에 대한 p-값을 계산하기 위해 순열 기반 검정을 사용하는 것.
• 다변량 및 구조화된 데이터에서 랜카스터 상호작용(즉, 비가산적 공동 의존성)과 총 독립성을 탐지하기 위해 검정을 적용하는 것.
• 요인 분해 검정을 포함한 다중 검정 상황에서 제1종 오류를 통제하기 위해 홀름-본페론(corrected) 보정을 활용하는 것.
• 적절한 커널 선택을 통해 비유클리드 또는 복잡한 영역 내 변수를 다룰 수 있도록 프레임워크를 일반화하는 것.

실험 결과

연구 질문

• RQ1 비모수적 커널 검정은 이중 독립성 검정이 놓치는 세 변수 간 상호작용을 탐지할 수 있는가?
• RQ2 유도 그래픽 모델 내 V-구조 탐지에서 제안된 랜카스터 상호작용 검정은 조건부 독립성 검정보다 어떻게 비교되는가?
• RQ3 커널 기반 RKHS 임베딩 접근법은 고차원 또는 구조화된 데이터에서 비가산적이고 고차원의 의존성을 탐지하는 데 효과적인가?
• RQ4 개별 변수가 약한 근위 효과를 보일지라도 제3의 변수에 강한 공동 영향을 미칠 경우, 검정은 높은 통계적 검정력을 유지하는가?
• RQ5 이 방법은 일관되고 계산적으로 실현 가능한 방식으로 세 개 이상의 변수 간 총 독립성을 탐지하는 데 확장 가능한가?

주요 결과

• 랜카스터 상호작용 검정은 개별 원인이 약한 근위 효과를 보이지만 공동으로 강한 영향을 미치는 경우, 특히 V-구조 탐지에서 이중 독립성 및 조건부 의존성 검정보다 뚜렷이 뛰어난 성능을 보였다.
• 고차원 설정(p > 5)에서, 특히 상호작용이 더 복잡한 데이터셋 A에서 랜카스터 통계량은 경쟁 방법들보다 현저히 낮은 제2종 오류를 보였다.
• 이 검정은 넓은 재생 커널 가족에 대해 모든 대안에 대해 일관되며, 비가산적 상호작용의 신뢰할 수 있는 탐지가 보장된다.
• 변수가 이원적으로 독립이지만 고차원 상호작용으로 인해 상호의존적인 경우, 예를 들어 고전적인 {-1,1} 삼중체 예제에서 검정은 성공적으로 이를 탐지하였다.
• RKHS 임베딩 프레임워크 덕분에 검정은 비모수적 가정 없이 다변량 및 구조화된 데이터, 비유클리드 영역에 적용 가능하다.
• 총 독립성 검정은 세 개 이상의 변수로 자연스럽게 일반화되지만, 조합적 복잡성으로 인해 고차원 상호작용 탐지는 계산적으로 비용이 많이 든다.