[논문 리뷰] Causal Inference via Kernel Deviance Measures

Jovana Mitrovic, Dino Sejdinović외 1명|arXiv (Cornell University)|2018. 04. 12.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 14

한 줄 요약

이 논문은 관측 데이터에서 원인-결과 방향을 추론하기 위해 재생 커널 힐버트 공간을 사용하여 조건부 분포의 기술 길이의 변동성을 측정하는 방법을 통해 원인-결과 비대칭성을 분석하는 비모수적 방법인 커널 조건부 편차(Kernel Conditional Deviance, KCDC)를 제안한다. 이는 메커니즘의 콜모고로프 복잡도에 기반한 새로운 비대칭성 해석을 통해 합성 데이터, 시계열 데이터 및 벤치마크 데이터셋에서 최신 기술(SOTA)을 능가한다.

ABSTRACT

Discovering the causal structure among a set of variables is a fundamental problem in many areas of science. In this paper, we propose Kernel Conditional Deviance for Causal Inference (KCDC) a fully nonparametric causal discovery method based on purely observational data. From a novel interpretation of the notion of asymmetry between cause and effect, we derive a corresponding asymmetry measure using the framework of reproducing kernel Hilbert spaces. Based on this, we propose three decision rules for causal discovery. We demonstrate the wide applicability of our method across a range of diverse synthetic datasets. Furthermore, we test our method on real-world time series data and the real-world benchmark dataset Tubingen Cause-Effect Pairs where we outperform existing state-of-the-art methods.

연구 동기 및 목표

• 특정 기능 형태나 잡음 구조를 가정하지 않는 완전히 비모수적 원인-결과 탐색 방법을 개발하는 것.
• 조건부 인력 테스트나 비모수적 가정에 의존하는 기존 방법의 한계를 해결하는 것.
• 정보 이론적 원리인 콜모고로프 복잡도를 기반으로 한 새로운 비대칭성 해석을 통해 순수 관측 데이터에서 확실한 원인-결과 구조를 추론하는 것.
• 모델 유형에 맞게 맞춤형 알고리즘을 개발하지 않고도 복잡한 고차원 데이터 생성 과정으로의 원인-결과 추론를 확장하는 것.
• 시간 시리즈 및 실제 벤치마크 데이터를 포함한 다양한 데이터 유형에 대한 강건성과 적용 가능성 향상

제안 방법

• 입력 값에 따른 조건부 메커니즘의 콜모고로프 복잡도의 변동성에 기반한 원인-결과 비대칭성에 대한 새로운 해석을 도입한다.
• 조건부 평균 임bedding의 재생 커널 힐버트 공간(RKHS) 노름을 사용하여 계산이 불가능한 콜모고로프 복잡도를 근사한다.
• 커널 조건부 편차(KCDC)는 RKHS 노름의 내부 집합 편차를 측정하여 조건부 분포의 기술 길이의 변동성을 정량화한다.
• 세 가지 의사결정 규칙을 제안한다: 직접 비교, 다수의 커널에 대한 앙상블, 원인-결과 방향 선택을 위한 분류 기반 선택.
• 비모수적 조건부 분포 표현을 위해 커널 임베딩을 사용하여 모수적 가정 없이도 민첩한 모델링을 가능하게 한다.
• 다양한 커널(RBF 및 로그 커널)과 대역폭에 대해 교차 검증을 통해 하이퍼파rameter를 선택하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 특정 기능 형태나 잡음 분포를 가정하지 않는 비모수적 원인-결과 추론 방법을 개발할 수 있는가?
• RQ2 정보 이론적 원리인 콜모고로프 복잡도를 사용하여 원인과 결과 간의 비대칭성을 어떻게 수식화할 수 있는가?
• RQ3 RKHS 노름을 사용하여 조건부 메커니즘의 기술 길이 변동성을 효과적으로 측정할 수 있는가? 이를 통해 원인-결과 방향을 추론할 수 있는가?
• RQ4 KCDC는 다양한 합성 및 실제 데이터셋에서 최신 기술(SOTA)과 비교해 어떻게 성능을 발휘하는가?
• RQ5 confounding 변수를 고려하면서 KCDC를 다변량 원인-결과 탐색으로 확장할 수 있는가?

주요 결과

• KCDC는 티빙엔 원인-결과 쌍 벤치마크 데이터셋에서 기존 최신 기술(SOTA)을 능가했다.
• 실제 GDP 시계열 데이터에서는 하이퍼파rameter 설정에 따라 신뢰도 측정값이 2.45에서 44,565.6 사이로 변동하며 원인-결과 방향을 정확히 식별했다.
• 다양한 합성 데이터셋에서 높은 정확도를 달성하여 광범위한 적용 가능성을 입증했다.
• LiNGAM은 시계열 데이터에서 정확한 원인-결과 방향을 식별하지 못했지만, Bauer 등(2016)의 방법은 성공했고, KCDC는 이와 동등하거나 이를 초월하는 성능을 보였다.
• 앙상블 및 분류 기반 의사결정 규칙은 다양한 데이터 유형에 걸쳐 강건성과 일반화 능력을 향상시켰다.
• KCDC는 다양한 커널 유형과 대역폭에서 안정적인 성능을 보이며 강력한 하이퍼파rameter 내성성을 입증했다.