[논문 리뷰] Causal Markov condition for submodular information measures

Bastian Steudel, Dominik Janzing외 1명|arXiv (Cornell University)|2010. 02. 22.

Computability, Logic, AI Algorithms참고 문헌 24인용 수 20

한 줄 요약

이 논문은 셰이너 엔트로피를 초월해 콜모고로프 복잡도와 압축 기반 메트릭 등과 같은 측정법으로까지 적용 범위를 넓힐 수 있도록 인과적 마르코프 조건(CMC)을 임의의 하위모듈러 정보 측정법으로 일반화한다. 인과적 기계가 부모와 노이즈로부터 결정론적으로 계산되는 방식으로 정의되는 기능 모델 프레임워크를 제안하며, 하위모듈러 측정법 기반으로 CMC를 정당화하고, 실제 텍스트 데이터에 대한 압축 기반 방법을 활용한 실용적 인과 추론을 보여준다.

ABSTRACT

The causal Markov condition (CMC) is a postulate that links observations to causality. It describes the conditional independences among the observations that are entailed by a causal hypothesis in terms of a directed acyclic graph. In the conventional setting, the observations are random variables and the independence is a statistical one, i.e., the information content of observations is measured in terms of Shannon entropy. We formulate a generalized CMC for any kind of observations on which independence is defined via an arbitrary submodular information measure. Recently, this has been discussed for observations in terms of binary strings where information is understood in the sense of Kolmogorov complexity. Our approach enables us to find computable alternatives to Kolmogorov complexity, e.g., the length of a text after applying existing data compression schemes. We show that our CMC is justified if one restricts the attention to a class of causal mechanisms that is adapted to the respective information measure. Our justification is similar to deriving the statistical CMC from functional models of causality, where every variable is a deterministic function of its observed causes and an unobserved noise term. Our experiments on real data demonstrate the performance of compression based causal inference.

연구 동기 및 목표

• 셰이너 엔트로피 기반의 통계적 이상독립성에서부터 임의의 하위모듈러 정보 측정법으로의 인과적 마르코프 조건(CMC)의 확장을 목적으로 한다.
• 각 변수가 그 부모와 노이즈 항목의 결정론적 함수로 정의되는 인과의 기능 모델을 체계화하며, 선택된 정보 측정법에 맞게 조정한다.
• 정보 측정법과 호환되는 인과적 기계의 구조와 연결하여, 이 일반화된 프레임워크 하에서 CMC가 정당화됨을 보여준다.
• 불가계산 가능한 측정법(예: 콜모고로프 복잡도)의 대체로 계산 가능한 방법(예: 데이터 압축 길이)을 사용하여 실용적 인과 추론을 가능하게 한다.
• PC와 같은 인과 발견 알고리즘을 사용하여 실제 텍스트 데이터에 대해 압축 기반 정보 측정법을 기반으로 한 실증적 검증을 수행한다.

제안 방법

• 임의의 하위모듈러 정보 측정법을 사용하여 일반화된 인과적 마르코프 조건을 제안하며, 통계적 이상독립성을 측정법 기반의 의존성으로 대체한다.
• 각 노드가 그 부모와 노이즈 항목의 결정론적 함수로 계산되는 인과의 기능 모델을 도입하여, 노드의 정보량이 부모와 노이즈에 의해 완전히 설명됨을 보장한다.
• 하위모듈러 측정법을 통해 조건부 독립을 정의하여, 유도된 독립 관계가 반그래프형 공리(axioms)를 만족함을 보장한다.
• 인과적 기계가 정보 측정법의 구조와 호환될 경우, 조상 집합에 대한 귀납법과 측정법의 분해를 통해 CMC가 성립함을 보여준다.
• 조건부 독립이 조건부 조건에서 항상 의존성을 감소시키지 않는 정보 측정법을 다룰 수 있도록 PC 알고리즘을 수정하여 인과 발견에 적합하게 조정한다.
• 실제 텍스트 데이터에서의 실용적 인과 추론을 가능하게 하기 위해, 콜모고로프 복잡도의 계산 가능한 대체 측정법으로 압축 기반 방법(예: Lempel-Ziv)을 활용한다.

실험 결과

연구 질문

• RQ1 인과적 마르코프 조건은 셰이너 엔트로피를 초월해 임의의 하위모듈러 정보 측정법으로 일반화될 수 있는가?
• RQ2 어떤 종류의 인과적 기계가 주어진 하위모듈러 정보 측정법과 호환되는가? 이는 어떻게 체계화할 수 있는가?
• RQ3 기능 모델의 인과 구조는 하위모듈러 정보 측정법에 어떻게 적응시켜 CMC를 정당화할 수 있는가?
• RQ4 조건부 조건에서 정보 측정법이 항상 감소하지 않는 경우, 표준 인과 발견 알고리즘에 어떤 수정이 필요한가?
• RQ5 압축 기반 정보 측정법은 자연어 텍스트와 같은 실제 데이터에서 효과적으로 인과 추론을 지원할 수 있는가?

주요 결과

• 인과적 마르코프 조건은 임의의 하위모듈러 정보 측정법으로 일반화될 수 있으며, 인과적 기계가 측정법의 구조와 호환될 경우 조건이 성립한다.
• 각 변수가 그 부모와 노이즈의 결정론적 함수로 구성되는 기능 모델 프레임워크는 하위모듈러 측정법 기반으로 CMC를 정당화하며, 통계적 경우와 유사하게 작용한다.
• 논문은 인과적 기계가 선택된 측정법의 정보 이론적 성질을 존중할 경우 CMC가 유효함을 보여주며, 인과 추론에 대한 원칙적인 사전 확률을 제공한다.
• 압축 기반 측정법(예: Lempel-Ziv 복잡도)은 콜모고로프 복잡도의 효과적이고 계산 가능한 대체 측정법으로서 인과 발견 작업에서 유용하다.
• 영문 텍스트 조각에 대한 실험 결과 압축 기반 인과 추론이 표준 클러스터링 방법보다 뛰어난 성능을 보이며, 단순한 유사성 이상의 인과적 구조를 드러낸다.