[논문 리뷰] Formally Justifying MDL-based Inference of Cause and Effect

Alexander Marx, Jilles Vreeken|arXiv (Cornell University)|2021. 05. 05.

Computability, Logic, AI Algorithms참고 문헌 30인용 수 4

한 줄 요약

이 논문은 알고리즘적 조건부 독립성(postulate)과 원인-결과 추론을 위한 실용적 두 부분으로 나누어진 최소 기술 길이(MDL) 방법 사이의 격차를 공식적으로 메운다. 이는 콜모고로프 복잡도 기반의 두 부분으로 나누어진 AIC의 표현을 유도하고, 이는 MDL 인코딩과 직접적으로 대응되며, 이 표현이 원래 AIC 공리와 동일한 원인-결과 추론 결과를 낳음을 증명함으로써 MDL 기반 원인-결과 추론에서 이론적 일관성을 확보한다.

ABSTRACT

The algorithmic independence of conditionals, which postulates that the causal mechanism is algorithmically independent of the cause, has recently inspired many highly successful approaches to distinguish cause from effect given only observational data. Most popular among these is the idea to approximate algorithmic independence via two-part Minimum Description Length (MDL). Although intuitively sensible, the link between the original postulate and practical two-part MDL encodings is left vague. In this work, we close this gap by deriving a two-part formulation of this postulate, in terms of Kolmogorov complexity, which directly links to practical MDL encodings. To close the cycle, we prove that this formulation leads on expectation to the same inference result as the original postulate.

연구 동기 및 목표

• 알고리즘적 조건부 독립성(AIC) 공리와 원인-결과 추론에 사용되는 실용적 두 부분 MDL 인코딩 간의 공식적 연결을 수립하기 위해.
• Kolmogorov 복잡도 기반으로 기술된 원래 AIC 공리와 실용적 MDL 근사치 간의 관계에 대한 모호함을 해결하기 위해.
• 두 부분 기반 서술을 사용하는 MDL 기반 추론이 AIC 원리에 의해 이론적으로 정당화됨을 확립하기 위해.
• 원인-결과 추론에 미치는 공동 데이터-모델 인코딩의 영향을 분석하며, 모델이 데이터로부터 독립되어야 한다는 점을 강조하기 위해.

제안 방법

• 모델 복잡도와 모델이 주어진 조건에서의 데이터 복잡도를 명시적으로 포함하는 AIC 공리의 두 부분 콜모고로프 복잡도 표현을 유도한다.
• 콜모고로프 복잡도의 사슬 법칙을 사용하여 총 기술 길이를 원인 방향에서 $ K(P_X) + K(P_{Y|X}) + H(P_{XY}) $ 로 표현하며, 상수항을 제외한 채로.
• 알고리즘적 기제의 독립성을 활용하여, 이 표현이 기댓값으로서 원래 AIC 공리와 동일한 원인-결과 추론 결과를 낳음을 증명한다.
• 모델과 데이터가 함께 기술되는 공동 인코딩을 분석하여, 비대칭성을 유지하기 위해 모델이 데이터로부터 독립이어야 한다는 것을 보여준다.
• AIC 하에서 $ K(P_{Y|X} \mid x) \approx K(P_{Y|X}) $ 이지만, 반원인 방향에서는 $ K(P_{X|Y} \mid y) \not\approx K(P_{X|Y}) $ 임을 보이며, 비대칭성이 유지됨을 보여준다.
• 유도된 두 부분 콜모고로프 복잡도 표현과 실무에서 널리 사용되는 표준 두 부분 MDL 근사치 사이에 일대일 대응 관계를 확립한다.

실험 결과

연구 질문

• RQ1 알고리즘적 조건부 독립성 공리는 어떻게 두 부분 콜모고로프 복잡도로 공식화될 수 있는가?
• RQ2 실무에서 사용되는 두 부분 MDL 근사치는 원래 AIC 공리와 원인-결과 추론 성능 측면에서 동일한가?
• RQ3 공동 데이터-모델 인코딩이 원인-결과 방향과 반원인-결과 방향 간의 비대칭성을 유지하기 위해 만족해야 할 조건은 무엇인가?
• RQ4 왜 데이터를 모델 기술에 포함시키면 원인-결과 추론에 필요한 비대칭성이 깨지는가?
• RQ5 Kolmogorov 복잡도를 통해 MDL 기반 원인-결과 추론의 이론적 기초를 엄밀히 정당화할 수 있는가?

주요 결과

• 논문은 모델 복잡도와 모델이 주어진 조건에서의 데이터 복잡도를 명시적으로 포함하는 AIC 공리의 두 부분 콜모고로프 복잡도 표현을 도출한다.
• 이 표현이 기댓값으로서 원래 AIC 공리와 동일한 원인-결과 추론 결과를 낳음을 증명함으로써, MDL 근사치의 사용이 정당화됨을 보여준다.
• 원인-결과 방향과 반원인-결과 방향 간의 비대칭성은 오직 모델 복잡도가 데이터로부터 독립일 때 유지되며, 즉 $ K(P_{Y|X} \mid x) \approx K(P_{Y|X}) $ 일 때이다.
• 공동 인코딩의 경우, 모델이 데이터로부터 독립적으로 인코딩되어야 비대칭성이 유지되며, 그렇지 않으면 기술 길이가 대칭이 되어 추론에 실패한다.
• 유도된 표현은 표준 두 부분 MDL 인코딩과 일대일 대응 관계를 맺으며, 이는 실무에서의 사용을 정당화한다.
• 결과적으로, 모델 기술이 관측된 데이터로부터 독립일 때만 MDL 기반 방법이 원인-결과 탐색에 대해 이론적으로 타당하다는 것이 드러났다.