[논문 리뷰] Causal inference using the algorithmic Markov condition

Dominik Janzing, Bernhard Schoelkopf|ArXiv.org|2008. 04. 23.

Computability, Logic, AI Algorithms참고 문헌 26인용 수 10

한 줄 요약

이 논문은 통계적 조건부 독립 대신 사라지는 조건부 알고리즘 상호정보량을 사용하여 단일 관측치로부터의 인과 추론을 가능하게 하는 알고리즘적 마르코프 조건을 제안한다. 알고리즘 복잡도를 기반으로 한 인과 추론 프레임워크를 수립하여 더 단순한 마르코프 커널을 선호함으로써 마르코프 동치 구조를 해결하고, 실용적 적용을 위해 압축과 자원 제한 복잡도를 사용한 결정 가능 근사치를 제안한다.

ABSTRACT

Inferring the causal structure that links n observables is usually based upon detecting statistical dependences and choosing simple graphs that make the joint measure Markovian. Here we argue why causal inference is also possible when only single observations are present. We develop a theory how to generate causal graphs explaining similarities between single objects. To this end, we replace the notion of conditional stochastic independence in the causal Markov condition with the vanishing of conditional algorithmic mutual information and describe the corresponding causal inference rules. We explain why a consistent reformulation of causal inference in terms of algorithmic complexity implies a new inference principle that takes into account also the complexity of conditional probability densities, making it possible to select among Markov equivalent causal graphs. This insight provides a theoretical foundation of a heuristic principle proposed in earlier work. We also discuss how to replace Kolmogorov complexity with decidable complexity criteria. This can be seen as an algorithmic analog of replacing the empirically undecidable question of statistical independence with practical independence tests that are based on implicit or explicit assumptions on the underlying distribution.

연구 동기 및 목표

• 인과성을 알고리즘 정보이론에 기반하여 통계적 집합을 초월해 개별 관측치로의 인과 추론을 확장한다.
• 반복적 샘플링과 통계적 독립에 의존하는 전통적 인과 마르코프 조건의 한계를 해결한다.
• 조건부 확률 밀도의 알고리즘 복잡도를 통합하여 인과 그래프에서 마르코프 동치를 해결한다.
• 압축과 자원 제한 복잡도에 기반한 결정 가능 추론 규칙을 개발하여 계산 불가능한 알고리즘 측도를 근사한다.
• 단순성과 알고리즘적 구조에 기반한 히ュ리스틱 인과 추론 원칙에 이론적 기반을 제공한다.

제안 방법

• 통계적 조건부 독립을 대체하여 인과 그래프에서 마르코프성의 기준으로 사라지는 조건부 알고리즘 상호정보량을 사용한다.
• 객체를 문자열로 표현한 개별 물체에 인과 마르코프 조건을 적용하며, 콜모고로프 복잡도를 사용해 알고리즘적 의존성을 수식화한다.
• 더 단순한 조건부 밀도를 선호하기 위해 마르코프 커널의 알고리즘적 독립성 개념을 도입한다.
• 콜모고로프 복잡도를 압축 기반의 알고리즘 상호정보량 근사치로 대체하여 결정 가능 대체 방법을 제안한다.
• 자원 제한 복잡도를 사용해 알고리즘 측도를 계산 가능하게 하여 계산 제약 조건 하에서 실용적 인과 추론을 가능하게 한다.
• 대칭성과 계산 깊이를 인과 방향의 지표로 활용하며, 한 방향에서 더 효율적으로 계산 가능한 설명을 선호한다.

실험 결과

연구 질문

• RQ1 통계적 집합 대신 알고리즘 정보이론을 사용하여 단일 관측치로부터 인과 구조를 추론할 수 있는가?
• RQ2 개별 물체를 다룰 수 있도록 인과 마르코프 조건을 알고리즘 상호정보량의 관점에서 어떻게 재구성할 수 있는가?
• RQ3 통계적 독립이 부족할 경우 마르코프 동치를 해결할 수 있는 기준은 무엇이며, 알고리즘 복잡도가 어떻게 도움이 될 수 있는가?
• RQ4 계산 불가능한 알고리즘 측도인 콜모고로프 복잡도를 결정 가능하고 압축 기반의 근사치로 얼마나 대체할 수 있는가?
• RQ5 계산 복잡도(예: 논리적 깊이)는 알고리즘 상호정보량을 초월해 인과 방향에 대한 추가적 단서를 제공할 수 있는가?

주요 결과

• 알고리즘 마르코프 조건은 통계적 독립 대신 알고리즘 상호정보량을 사용해 단일 관측치로부터의 인과 추론을 가능하게 한다.
• 해당 마르코프 커널이 알고리즘적으로 독립일 경우 인과 가설이 선호되며, 더 단순한 조건부 밀도를 선호함으로써 마르코프 동치를 해결한다.
• 이 프레임워크는 알고리즘 복잡도에 기반한 더 단순한 설명을 선호하는 인과 발견의 히ュ리스틱 원칙에 이론적 근거를 제공한다.
• 압축 기반의 알고리즘 상호정보량 근사치는 콜모고로프 복잡도가 계산 불가능하더라도 실용적 인과 추론 규칙을 구현하는 데 사용할 수 있다.
• 자원 제한 복잡도는 무한정 콜모고로프 복잡도의 계산 가능 대체 방법을 제공하지만, 대칭성을 깨뜨리고 이론적 분석을 복잡하게 한다.
• 원인에서 결과를 계산하는 데 소요되는 계산 깊이와 자원 시간은 알고리즘 상호정보량을 초월해 추가적인 인과 비대칭성을 제공할 수 있으며, 이는 효율적인 계산이 인과 방향을 선호함을 시사한다.