[논문 리뷰] Information-theoretic inference of common ancestors

Bastian Steudel, Nihat Ay|arXiv (Cornell University)|2010. 10. 27.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 9

한 줄 요약

이 논문은 관측된 변수 간의 의존성으로부터 방향성 있는 비순환 그래프(DAG)에서 공통 조상의 존재를 추론하는 정보이론적 부등식을 제안한다. 이는 두 변수에만 적용되던 Reichenbach의 공통 원인 원리(Principle of Common Cause)를 다수의 변수로 확장한 것으로, 관측된 변수들 간의 상호정보량(mutual information) 수준이 높을수록 더 큰 관측되지 않은 시스템을 모델링하는 어떤 DAG에서도 공통 조상이 존재함을 보여준다. 주요 결과는 관측된 변수들 간의 높은 상호정보량이, 확률적 및 알고리즘적 정보 측정 방식 모두에 대해 유효한, 더 큰 시스템의 DAG에서 공통 조상이 존재함을 시사한다.

ABSTRACT

A directed acyclic graph (DAG) partially represents the conditional independence structure among observations of a system if the local Markov condition holds, that is, if every variable is independent of its non-descendants given its parents. In general, there is a whole class of DAGs that represents a given set of conditional independence relations. We are interested in properties of this class that can be derived from observations of a subsystem only. To this end, we prove an information theoretic inequality that allows for the inference of common ancestors of observed parts in any DAG representing some unknown larger system. More explicitly, we show that a large amount of dependence in terms of mutual information among the observations implies the existence of a common ancestor that distributes this information. Within the causal interpretation of DAGs our result can be seen as a quantitative extension of Reichenbach's Principle of Common Cause to more than two variables. Our conclusions are valid also for non-probabilistic observations such as binary strings, since we state the proof for an axiomatized notion of mutual information that includes the stochastic as well as the algorithmic version.

연구 동기 및 목표

• 부분 관측된 하위시스템의 관측 자료로부터 관측되지 않은 더 큰 시스템의 구조적 성질—특히 공통 조상의 존재—를 추론하기 위해.
• 두 개의 의존 변수에만 적용되는 Reichenbach의 공통 원인 원리를, 정보이론적 측정 방식을 사용해 다수의 변수로 일반화하기 위해.
• 간섭이 불가능한 상황에서도 공통 조상 탐지에 사용할 수 있는 정량적 기준을 설정하기 위해.
• 확률적 및 비확률적 관측 자료(예: 이진 문자열) 모두에 대해 결과가 유효하도록, 축약된 상호정보량 개념을 사용해 일반성과 타당성을 확보하기 위해.
• 동일한 조건부 인적관계를 가지는 인과 모델 간의 차이를 구분할 수 있는 방법을 제공하기 위해, 의존성의 정도를 활용한다.

제안 방법

• 관측된 변수들 간의 총 상호정보량과 더 큰 시스템을 모델링하는 DAG에서의 공통 조상 존재 여부를 연결하는 정보이론적 부등식을 제안한다.
• 확률적 및 알고리즘적(Kolmogorov 복잡도 기반) 환경 모두에 적용 가능한 축약된 상호정보량 개념을 사용하여 광범위한 적용 가능성을 확보한다.
• DAG에 대한 국소 마르코프 조건(Local Markov condition)을 적용하여, 각 노드가 부모 노드를 조건으로 하여 후손이 아닌 자식 노드들과 조건부 인적임을 모델링한다.
• 하위그래프에 대한 귀납법과 조건부 기대값을 이용해 관측 집합의 조상과 변수 간의 상호정보량에 대한 상한을 유도한다.
• 특정 노드(조상 집합)를 제거함으로써 DAG를 변형하여 조건부 상호정보량을 분석하고 부등식을 도출한다.
• 상호정보량의 연쇄법칙(chain rule)과 조건부 인적관계의 성질을 활용해 관측된 변수들의 조상과 변수 간의 상호정보량을 제한한다.

실험 결과

연구 질문

• RQ1 인과적 DAG에서 다수의 변수 간 관측된 의존성이 있을 때, 공통 조상의 존재를 어떤 조건에서 추론할 수 있는가?
• RQ2 정보이론적 측정 방식을 사용해 Reichenbach의 공통 원인 원리를 두 개 이상의 변수로 어떻게 확장할 수 있는가?
• RQ3 간섭이 불가능한 상황에서 관측 데이터만으로도 관측되지 않은 혼란 요인(confounders)의 구조적 결론을 도출할 수 있는가?
• RQ4 관측된 변수들 간의 상호정보량 수준과 어떤 유효한 DAG 모델 내 공통 조상 존재 여부 사이의 정량적 관계는 무엇인가?
• RQ5 결과가 확률 모델을 초월해, 이진 문자열과 같은 알고리즘적 정보에 대해서도 어느 정도 유효한가?

주요 결과

• $ n $개의 관측된 변수들 간의 높은 상호정보량은, 전체 시스템이 관측되지 않더라도 더 큰 시스템을 모델링하는 어떤 DAG에서도 공통 조상이 존재함을 시사한다.
• 논문은 $ I(Y: \text{an}_G(O_{[n]})) \rangle \text{sum of terms involving } I(Y:O_i) $ 를 보여주는 부등식을 증명하였으며, 이는 상호정보량이 임계값을 초과할 경우 DAG의 구조적 제약 조건을 유도한다.
• 확장된 공통 원인 원리는 공식적으로 수립되었다: 만약 $ n $개의 변수 간의 의존성이 $ c $에 따라 달라지는 한계를 초과한다면, 어떤 유효한 DAG에서도 그 중 $ c $개의 변수가 공통 조상을 공유해야 한다.
• 결과는 확률적 및 알고리즘적 정보 모두에 대해 유효하며, 이는 증명이 둘 다를 수용하는 축약된 상호정보량 프레임워크에 기반하기 때문이다.
• 이 방법은 조건부 인적관계가 동일한 인과 모델들—예를 들어 동일한 조건부 인적관계를 가지는 서로 다른 DAG들—을 구분할 수 있도록 한다.
• 증명 기법은 하위그래프에 대한 귀납법과 조상 집합에 대한 조건부 기대값을 사용하며, 핵심 부등식은 연쇄법칙과 조건부 상호정보량의 성질로부터 도출된다.