[논문 리뷰] The Randomized Causation Coefficient

David López-Paz, Krikamol Muandet외 1명|arXiv (Cornell University)|2014. 09. 15.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 13

한 줄 요약

이 논문은 랜덤화된 인과 계수(RCC)를 제안하며, 인과성을 커널 평균 임베딩 분류 문제로 간주함으로써 두 랜덤 변수 간의 인과 방향을 데이터 기반으로 학습하는 방법을 제시한다. 이 방법은 ChaLearn Fast Causation Coefficient 챌린지에서 최상위 성능을 기록하여 종합 3위를 기록했으며, 테스트 데이터에서 양방향 AUC 0.732843을 달성한 데 이르러 2분 이내에 코드 실행을 완료하여 최고의 속도 상을 수상했다.

ABSTRACT

We are interested in learning causal relationships between pairs of random variables, purely from observational data. To effectively address this task, the state-of-the-art relies on strong assumptions regarding the mechanisms mapping causes to effects, such as invertibility or the existence of additive noise, which only hold in limited situations. On the contrary, this short paper proposes to learn how to perform causal inference directly from data, and without the need of feature engineering. In particular, we pose causality as a kernel mean embedding classification problem, where inputs are samples from arbitrary probability distributions on pairs of random variables, and labels are types of causal relationships. We validate the performance of our method on synthetic and real-world data against the state-of-the-art. Moreover, we submitted our algorithm to the ChaLearn's "Fast Causation Coefficient Challenge" competition, with which we won the fastest code prize and ranked third in the overall leaderboard.

연구 동기 및 목표

• 강한 파rametric 가정에 의존하지 않고도 두 랜덤 변수 간의 인과 추론을 위한 일반 목적의 데이터 기반 방법을 개발하는 것.
• 수동적인 특징 공학이나 추가 노이즈 또는 가역성과 같은 도메인 특화 가정을 요구하지 않고도 관측 데이터에서 직접 인과 관계를 학습하는 것.
• 분포 특징에 기반한 지도 학습 분류 문제로 인과성을 재구성함으로써 확장성 있고 효율적인 인과 발견을 가능하게 하는 것.
• 합성 데이터와 실제 세계 데이터를 포함한 다양한 데이터에 대해 방법을 검증하여 강건성과 빠른 처리 속도를 입증하는 것.

제안 방법

• 이 방법은 랜덤 푸리에 특징을 사용하여 두 랜덤 변수의 각 결합 분포를 커널 평균 임베딩으로 표현함으로써 표본을 고정된 차원의 특징 벡터로 변환한다.
• 인과 추론을 이진 분류 문제로 재구성함: 이러한 임베딩된 특징을 사용하여 X→Y와 Y→X를 구분한다.
• 이중 단계 분류기 구조를 사용함: 첫 번째로 기울기 부스팅 분류기가 인과적 쌍과 비인과적 쌍을 구분하고, 두 번째로 인과적 쌍에 대해 인과 방향을 식별하는 분류기가 작동한다.
• 최종 인과 계수는 인과성 존재 확률과 방향에 대한 부호가 붙은 신뢰도 점수의 곱으로 계산된다.
• 분포 특징을 커널 평균 임베딩에서 유도함으로써 수작업으로 만든 통계량 없이도 엔드 투 엔드 학습이 가능하다.
• 이 방법은 쌍의 분포와 그 인과 관계가 레이블링된 데이터로 훈련되며, ChaLearn 데이터셋에서 테스트 시점 추론이 2분 이내에 완료된다.

실험 결과

연구 질문

• RQ1 추가 노이즈나 가역성과 같은 특정 구조 모델을 가정하지 않고도 관측 데이터에서 직접적으로 랜덤 변수 간의 인과 관계를 학습할 수 있는가?
• RQ2 모델 기반 접근 방식의 한계를 고려할 때, 다양한 데이터 분포(인위적 및 실제 세계 데이터 포함)에 일반화할 수 있는 데이터 기반 접근 방식은 가능한가?
• RQ3 커널 평균 임베딩에서 파생된 분포 특징만으로도 높은 정확도의 인과 방향 추론이 가능할 수 있는가?
• RQ4 기존의 인과 추론 방법(예: IGCI 또는 추가 노이즈 모델)에 비해, 학습된 엔드 투 엔드 분류기의 성능은 실제 세계 데이터에서 어떻게 평가되는가?

주요 결과

• Randomized Causation Coefficient는 ChaLearn 챌린지 테스트 세트에서 양방향 AUC 0.732843을 기록하여 종합 3위를 달성했으며, 최고의 속도 상을 수상했다.
• 이 방법은 동일한 데이터셋에서 IGCI보다 뛰어난 성능을 보였으며, 이는 복잡한 데이터에서 모델 기반 접근 방식의 한계를 시사한다.
• RCC 방법은 매우 낮은 계산 비용으로 높은 성능을 달성했으며, 테스트 세트를 2분 이내에 처리하여 우승 기록보다 30배 이상 더 빠른 속도를 기록했다.
• 이 방법은 이질적인 데이터(18% 실제 세계, 82% 인위적 인과 쌍 포함)에서도 강건성을 입증하여 넓은 적용 가능성을 보였다.
• 랜덤 푸리에 특징의 사용은 복잡한 분포를 효율적이고 효과적으로 특징화할 수 있게 해주었으며, 데이터 기반으로 인과 패턴을 학습하는 것이 가능함을 뒷받침한다.