[논문 리뷰] On causally asymmetric versions of Occam's Razor and their relation to thermodynamics

Dominik Janzing|ArXiv.org|2007. 08. 24.

Bayesian Modeling and Causal Inference참고 문헌 42인용 수 10

한 줄 요약

이 논문은 원인-결과 조건문이 결과-원인 조건문보다 더 단순한 이유가 열역학적 비가역성에 기인한다고 제안한다. 비평형 상태에 있는 물리계를 초기 결합 분포가 상호연결된 상태로 진화하는 방식으로 모델링함으로써, 이러한 인과적 비대칭성이 열역학 제2법칙이 일반적인 최종 상태로 향하는 경향을 반영함을 보여주며, 인과 탐색에서 옥컴의 면모에 열역학적 기반을 제공한다.

ABSTRACT

In real-life statistical data, it seems that conditional probabilities for the effect given their causes tend to be less complex and smoother than conditionals for causes, given their effects. We have recently proposed and tested methods for causal inference in machine learning using a formalization of this principle. Here we try to provide some theoretical justification for causal inference methods based upon such a ``causally asymmetric'' interpretation of Occam's Razor. To this end, we discuss toy models of cause-effect relations from classical and quantum physics as well as computer science in the context of various aspects of complexity. We argue that this asymmetry of the statistical dependences between cause and effect has a thermodynamic origin. The essential link is the tendency of the environment to provide independent background noise realized by physical systems that are initially uncorrelated with the system under consideration rather than being finally uncorrelated. This link extends ideas from the literature relating Reichenbach's principle of the common cause to the second law.

연구 동기 및 목표

• 인과 추론에서 인과적 비대칭성을 가진 옥컴의 원리에 대한 이론적 근거를 제공하기 위해.
• 물리계에서 원인-결과와 결과-원인 조건문 간의 통계적 비대칭성의 근본 원인을 조사하기 위해.
• 비평형 통계역학을 통해 이러한 비대칭성을 열역학적 비가역성과 제2법칙과 연결하기 위해.
• 초기 결합 상태가 어떻게 상호연결된 최종 상태로 진화하는지 분석하여, 앞으로의 인과 방향에서 더 단순한 조건부 확률이 우세하게 나타나는 이유를 밝히기 위해.
• 관측된 P(결과|원인)의 단순성과 P(원인|결과)의 복잡성이 특정 물리적 동역학 하에서 일반적인 진화에 기인한 것이며, 임의의 가정이 아니라는 것을 입증하기 위해.

제안 방법

• 초기 원인과 환경에 대해 결합 분포를 가정하는 비평형 통계역학을 사용하여 인과 시스템을 모델링한다.
• 고전 및 양자 물리학의 간단한 모델(스핀계, 열해수 등)을 사용하여 원인-결과 조건부 확률 P(결과|원인)와 원인-결과 조건부 확률 P(원인|결과)를 분석한다.
• 인과 마르코프 조건과 기능적 모델을 사용하여 간섭 조작을 형식화하고 조건부 독립성의 구조를 유도한다.
• 세부 균형 원리와 비평형 동역학을 적용하여, P(결과|원인)가 일반적으로 P(원인|결과)보다 더 매끄럽고 단순하다는 것을 보여준다.
• 스핀이 자기장에 존재하는 시스템과 같이, 열역학적 극한에서 유한한 자기장 강도를 유지하기 위해 상호작용 해밀토니안이 1/√n 비례로 스케일링됨을 보여준다.
• 프로브 스핀(간섭 조작)을 조정함으로써 이중성분 분포가 붕괴되고 상호 영향이 드러나며, 비평형 동역학이 확인됨을 보여준다.

실험 결과

연구 질문

• RQ1 실제 데이터에서 왜 P(결과|원인) 조건부 확률이 일반적으로 P(원인|결과)보다 더 단순하고 매끄럽게 나타나는가?
• RQ2 비평형 시스템에서 관측된 인과 추론의 비대칭성의 물리적 메커니즘은 무엇인가?
• RQ3 열역학 제2법칙은 원인과 결과 간의 통계적 비대칭성과 어떻게 관련이 있는가?
• RQ4 초기 결합 상태가 상호연결된 최종 상태로 진화하는 경향이 앞으로의 조건부 확률이 더 단순한 이유를 설명할 수 있는가?
• RQ5 비평형 초기 조건과 비가역적 혼합 과정이 인과 추론에서 열역학적 화살표를 어떻게 생성하는가?

주요 결과

• P(결과|원인)와 P(원인|결과) 간의 복잡성 비대칭성은 초기에 상호연결되지 않은 원인과 환경가 결합된 상태에서 물리적 동역학 하에 상호연결된 최종 상태로 진화하는 경향에 기인한다.
• 시스템 크기가 큰 극한에서, 프로브와 상호작용하는 스핀계의 자화 모멘트 분포는 두 개의 정규분포 혼합형태가 되며, 간섭 조작 시 붕괴되어 상호 영향이 드러난다.
• P(결과|원인)가 단순한 이유는 비연결된 초기 상태가 상호연결된 최종 상태로 일반적인 진화를 겪기 때문이며, 이는 제2법칙과 일치한다.
• 열적 평형 상태에 있는 시스템은 원인-결과 방향이 명확하지 않으며, 앞서와 뒤로의 정보 흐름이 대칭적이므로, 인과적 비대칭성을 위해 비평형 초기 조건이 필수적이다.
• 관측된 조건부 복잡성의 비대칭성은 임의적이지 않으며, 특정 초기 조건(예: 결합 상태)이 특정 최종 상태보다 더 가능성 있는 열역학적 화살표에 뿌리를 두고 있다.
• 논문은 비평형 시스템에서의 간섭 조작이 원인과 결과 간의 대칭성을 깨며, 수동 관찰에서의 인과 추론이 초기 조건과 비가역성에 대한 가정이 필요하다는 것을 확인한다.