[논문 리뷰] Deep Convolutional Neural Networks for Pairwise Causality

Karamjit Singh, Garima Gupta외 3명|arXiv (Cornell University)|2017. 01. 03.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 5

한 줄 요약

이 논문은 관측 데이터의 산점도에서 쌍별 원인-결과 방향을 추론하기 위해 딥 컨volution 신경망(CNN)을 사용하는 것을 제안한다. 각 속성 쌍을 2차원 이미지로 간주하여 처리한다. 가중치가 부여된 앙상블과 기울기 부스팅 분류기를 사용한 방식으로, 기존 방법들보다 우수한 성능을 달성하였으며, 특히 데이터가 부족한 조건에서 NIPS 2013 원인-결과 쌍 도전 대회에서 최신 기술 수준을 초월한다.

ABSTRACT

Discovering causal models from observational and interventional data is an important first step preceding what-if analysis or counterfactual reasoning. As has been shown before, the direction of pairwise causal relations can, under certain conditions, be inferred from observational data via standard gradient-boosted classifiers (GBC) using carefully engineered statistical features. In this paper we apply deep convolutional neural networks (CNNs) to this problem by plotting attribute pairs as 2-D scatter plots that are fed to the CNN as images. We evaluate our approach on the 'Cause- Effect Pairs' NIPS 2013 Data Challenge. We observe that a weighted ensemble of CNN with the earlier GBC approach yields significant improvement. Further, we observe that when less training data is available, our approach performs better than the GBC based approach suggesting that CNN models pre-trained to determine the direction of pairwise causal direction could have wider applicability in causal discovery and enabling what-if or counterfactual analysis.

연구 동기 및 목표

• 조건 변수가 부족하여 기존의 조건부 인력 테스트가 실패하는 관측 데이터만을 이용해 두 변수 간의 인과 방향을 추론하는 문제에 대응한다.
• 수작업으로 만든 특징에 의존하는 기존 통계적 방법, 예를 들어 기울기 부스팅 분류기(GBC)의 한계를 극복하며, 희소한 데이터에서 성능이 떨어질 수 있음을 고려한다.
• 딥 러닝, 특히 CNN이 수작업 특징 공학 없이 산점도의 시각적 패턴에서 직접 인과 방향을 학습할 수 있는지 탐색한다.
• 학습 데이터가 제한된 경우, 실생활에서 흔한 제약 조건에서 CNN 기반 모델의 일반화 능력과 강건성을 조사한다.
• CNN과 GBC를 융합한 앙상블 프레임워크를 개발하여 상호 보완적인 강점을 활용하고 인과 발견 벤치마크에서 향상된 성능을 달성한다.

제안 방법

• 연속적 속성의 경우 점을 직접 플롯하고, 이진 또는 범주형 속성의 경우 빈도를 색조 강도로 매핑하여 각 쌍별 데이터 인스턴스를 200×200 회색조 산점도로 변환한다.
• 다섯 단계로 구성된 15층의 CNN을 학습하여 산점도 이미지에서 인과 방향(X→Y, Y→X, 또는 둘 다 아님)을 분류한다. 각 단계는 두 개의 컨볼루션 레이어와 하나의 맥스 풀링 레이어를 포함한다.
• 수작업으로 만든 통계적 특징(예: 회귀 잔차의 비대칭성, 노이즈 분포 등)을 기반으로 별도의 기울기 부스팅 분류기(GBC)를 학습하여 동일한 세 클래스 인과 레이블을 예측한다.
• 검증 세트에서 튜닝된 가중치 $ w \in [0,1] $ 를 사용하여 CNN과 GBC의 확률을 결합하여 가중치가 부여된 앙상블 모델을 생성한다: $ p^e_k = w \cdot p^c_k + (1-w) \cdot p^g_k $.
• X와 Y를 교환하여 데이터 증강을 수행함으로써 대칭적인 학습 예제를 생성하고, 모델의 일반화 능력과 강건성을 향상시킨다.
• 정확도와 AUC를 평가 지표로 사용하며, AUC는 공식 NIPS 2013 도전 대회 기준으로 계산된다. 전체 및 희소한 학습 데이터 분할에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 수작업으로 만든 통계적 특징에 의존하지 않고도 딥 컨volution 신경망(CNN)이 산점도의 시각적 패턴에서 인과 방향을 효과적으로 학습할 수 있는가?
• RQ2 NIPS 2013 원인-결과 쌍 벤치마크에서 CNN 기반 접근 방식은 최신 기술 수준의 기울기 부스팅 분류기(GBC)보다 성능이 뛰어나게 되는가?
• RQ3 학습 데이터가 희소할 경우, 특히 각 속성 쌍당 100개 미만의 관측치가 있을 때, CNN 기반 방법이 GBC보다 더 잘 일반화되는가?
• RQ4 CNN과 GBC 모델의 가중치가 부여된 앙상블은 상호 보완적인 강점을 융합하여 우수한 성능을 달성할 수 있는가?
• RQ5 원시 산점도 이미지에 의존하는 만큼, 도메인 특화된 특징이 아닌 상태에서 CNN 모델이 재학습 없이 다른 데이터셋으로도 이식 가능한가?

주요 결과

• CNN과 GBC의 가중치가 부여된 앙상블 모델은 카글 테스트 세트에서 AUC 0.825를 기록하여 최신 기술 수준을 초월하고 사설 랭킹에서 1위를 차지했다.
• 전체 학습 데이터에서 앙상블 모델은 검증 세트에서 정확도 79.3%와 AUC 0.831을 달성했으며, 독립적인 CNN(정확도 72.5%, AUC 0.779)과 GBC(정확도 77.8%, AUC 0.805)보다 뛰어난 성능을 보였다.
• 학습 데이터를 100~1000개의 관측치로 줄였을 때, CNN 기반 모델은 정확도와 AUC 모두에서 GBC 기반 모델을 일관되게 앞서며, 데이터 희소성에 대한 강건성을 입증했다.
• 테스트 세트에서 CNN 모델은 정확도 73.3%와 AUC 0.769를 기록하여 특징 공학 없이도 뛰어난 성능를 보였으며, 전체 데이터에서 GBC보다 낮은 점수를 기록했음에도 불구하고 경쟁력 있는 성능를 유지했다.
• 희소 데이터에서의 성능 향상은 CNN이 시각적 구조에서 내재된 인과 패턴을 학습할 수 있음을 시사하며, 관측 수가 제한된 실생활 응용에 더 적합함을 나타낸다.
• 앙상블 모델의 성공은 CNN과 GBC가 상호 보완적이라는 것을 시사한다: CNN은 시각적 패턴을 포착하고, GBC는 통계적 불변성을 활용하며, 이들의 융합은 종합적인 예측 능력을 향상시킨다.