[논문 리뷰] Causal Discovery Using Proxy Variables

Mateo Rojas-Carulla, Marco Baroni외 1명|arXiv (Cornell University)|2017. 02. 23.

Bayesian Modeling and Causal Inference참고 문헌 31인용 수 10

한 줄 요약

이 논문은 예술 작품, 문서, 단어 쌍과 같은 정적 실체 간의 원인-결과 관계를 추론하기 위해 통계적 투영을 통해 정적 실체를 관측 가능한 랜덤 변수로 변환하는 프록시 변수 프레임워크를 제안한다. 인간이 애너테이션한 10,000개의 단어 쌍으로 구성된 데이터셋에서 원인-결과 관계를 탐지하는 데 75%의 정확도를 달성하여 강건성과 인간의 직관과의 일치를 입증한다.

ABSTRACT

Discovering causal relations is fundamental to reasoning and intelligence. In particular, observational causal discovery algorithms estimate the cause-effect relation between two random entities $X$ and $Y$, given $n$ samples from $P(X,Y)$. In this paper, we develop a framework to estimate the cause-effect relation between two static entities $x$ and $y$: for instance, an art masterpiece $x$ and its fraudulent copy $y$. To this end, we introduce the notion of proxy variables, which allow the construction of a pair of random entities $(A,B)$ from the pair of static entities $(x,y)$. Then, estimating the cause-effect relation between $A$ and $B$ using an observational causal discovery algorithm leads to an estimation of the cause-effect relation between $x$ and $y$. For example, our framework detects the causal relation between unprocessed photographs and their modifications, and orders in time a set of shuffled frames from a video. As our main case study, we introduce a human-elicited dataset of 10,000 pairs of casually-linked pairs of words from natural language. Our methods discover 75% of these causal relations. Finally, we discuss the role of proxy variables in machine learning, as a general tool to incorporate static knowledge into prediction tasks.

연구 동기 및 목표

• 기존 관측적 원인-결과 발견 기법을 직접 적용할 수 없는, 그림과 그 위조품 또는 단어와 그 의미적 결과와 같은 정적 실체 간의 원인-결과 관계를 추론하는 데 도전하는 것.
• 정적 실체를 측정 가능한 랜덤 변수로 변환하는 프록시 변수를 도입함으로써 관측 데이터에서 원인-결과 발견을 가능하게 하는 일반적인 프레임워크를 개발하는 것.
• 이 프레임워크를 영상 수정 작업과 대규모 자연어 원인-결과 데이터셋에 대해 실증적으로 검증하여 실제 응용 상황에서의 효과성을 입증하는 것.
• 외부 지식을 기계 학습 모델에 통합하는 데 프록시 변수를 일반적인 수단으로 활용할 수 있는 잠재적 활용성을 탐색하는 것.

제안 방법

• 정적 실체 x와 y와 관련된 통계적 정보를 제공하는 프록시 변수 W를 도입하여, x와 y로부터 관측 가능한 랜덤 변수 A와 B를 구성하는 것.
• 정적 실체 쌍 (x,y)의 결합 분포를 프록시 변수의 분포로 매핑하는 투영 함수 π를 정의함으로써 원인-결과 발견에 적합한 통계적 표현을 생성하는 것.
• 투영된 변수 (A,B)에 관측 기반 원인-결과 발견 알고리즘(예: RCC, LiNGAM)을 적용하여 원래의 정적 실체 (x,y) 간의 원인-결과 방향을 추론하는 것.
• 투영된 샘플의 전체 2차원 분포를 입력으로 처리하는 분포 기반 원인-결과 발견 방법을 적용하여 특성의 순서 변경 또는 제거에 대해 불변성을 확보하는 것.
• 원시 word2vec 특징과 투영된 분포 양쪽에 대해 분류기(예: 랜덤 포레스트)를 훈련 및 평가하여 특징 기반 접근과 분포 기반 접근 간의 성능을 비교하는 것.
• 모델 예측과 인간이 인식한 원인-결과 관계 간의 일치성을 검증하기 위해 인간이 애너테이션한 신뢰도 점수를 활용하는 것.

실험 결과

연구 질문

• RQ1 프록시 변수는 정적 실체를 원인-결과 발견에 적합한 관측 가능한 랜덤 변수로 효과적으로 변환할 수 있는가?
• RQ2 제안된 프레임워크는 영상 수정 사례와 비디오 프레임 순서 정리 작업에서 알려진 원인-결과 관계를 얼마나 잘 복원하는가?
• RQ3 이 방법은 자연어 원인-결과 탐지, 특히 '사고 → 부상'과 같은 원인-결과 쌍 탐지에 얼마나 일반화되는가?
• RQ4 진정한 원인-결과 구조를 파악하는 데 있어 분포 기반 원인-결과 발견 방법과 특징 기반 기준선 간의 성능 비교는 어떻게 되는가?
• RQ5 프록시 변수는 외부 지식을 기계 학습 모델에 통합하는 데 일반적인 메커니즘으로 기능할 수 있는가?

주요 결과

• 제안된 프록시 변수 프레임워크는 인간이 애너테이션한 10,000개의 원인-결과 연결된 단어 쌍으로 구성된 데이터셋에서 원인-결과 관계를 식별하는 데 75%의 정확도를 달성한다.
• 이 방법은 영상 수정 사례의 80%에서 원인-결과 방향을 성공적으로 추론하였으며, 혼합된 비디오 프레임을 상당수의 시도에서 올바르게 순서대로 정리하는 데 성공했다.
• 분포 기반 원인-결과 발견 방법이 기준선 방법보다 뛰어난 성능을 보였으며, 최고의 방법은 75%의 테스트 정확도를 기록하여 기준선의 59%보다 뚜렷이 높았다.
• πw2voi 투영 기반의 RCC 방법이 가장 높은 성능을 보였으며, 이는 원인어에 조건부된 어휘의 분포가 결과어에 조건부된 분포에 영향을 미칠 수 있음을 시사한다.
• 모델의 분류 정확도와 인간이 애너테이션한 원인-결과 관계의 신뢰도 간에 강한 정적 상관관계가 관찰되어 인간의 직관과의 일치를 시사한다.
• 특징 기반 방법은 최대 85%의 정확도를 달성하지만 과적합과 특성 순서 변경에 취약한 반면, 분포 기반 방법은 더 강건하고 일반화 성능이 뛰어나다.