[논문 리뷰] Lectures on Probability, Entropy, and Statistical Physics

Ariel Caticha|arXiv (Cornell University)|2008. 07. 31.

Statistical Mechanics and Entropy참고 문헌 77인용 수 39

한 줄 요약

이 논문은 유일한 프레임워크로 삼성 엔트로피(ME) 방법을 제시하여 유추 추론을 위한 확률 이론과 통계역학을 일관성 원칙에서 유도한다. 상한 조건 하에서 상대 엔트로피가 믿음의 유일한 업데이트 규칙임을 보이며, 베이즈의 법칙과 MaxEnt를 일반화한다. 열역학적 시스템의 변동에 대해 좌표 불변 Jacobian 보정을 포함한 정확한 결과를 제공한다.

ABSTRACT

These lectures deal with the problem of inductive inference, that is, the problem of reasoning under conditions of incomplete information. Is there a general method for handling uncertainty? Or, at least, are there rules that could in principle be followed by an ideally rational mind when discussing scientific matters? What makes one statement more plausible than another? How much more plausible? And then, when new information is acquired how do we change our minds? Or, to put it differently, are there rules for learning? Are there rules for processing information that are objective and consistent? Are they unique? And, come to think of it, what, after all, is information? It is clear that data contains or conveys information, but what does this precisely mean? Can information be conveyed in other ways? Is information physical? Can we measure amounts of information? Do we need to? Our goal is to develop the main tools for inductive inference--probability and entropy--from a thoroughly Bayesian point of view and to illustrate their use in physics with examples borrowed from the foundations of classical statistical physics.

연구 동기 및 목표

• 부분 정보 하에서 일관되고 객관적인 유추 추론 프레임워크를 수립하기 위해.
• 일관성과 이성 원칙에서 유도함으로써 확률과 엔트로피의 기초적 모호성을 해결하기 위해.
• 베이지안 업데이트와 MaxEnt를 하나의 형식적 체계인 최대 엔트로피(ME)로 통합하여 임의의 사전 확률과 제약 조건을 다룰 수 있도록 하기 위해.
• 통계역학을 단순한 현상학이 아니라, 유추 추론의 한 형태로 엄밀한 기초를 제공하기 위해.
• 정보의 본질이 합리적 믿음에 제약을 주고 믿음 업데이트를 필수적으로 만드는 바를 명확히 하기 위해.

제안 방법

• 일관된 추론의 코크스 공리로부터 확률 이론을 유도하여 곱셈법칙과 덧셈법칙을 도출한다.
• 새로운 제약 조건이 도입되었을 때 믿음을 업데이트하는 데에 최대 엔트로피(ME) 방법을 유일한 규칙으로 도입한다.
• 국소성, 좌표 불변성, 동일 및 비동일한 부분계의 일관성 원리를 사용하여 상대 엔트로피 업데이트 규칙을 도출한다.
• 엔트로피의 레지오르트 변환을 통해 열역학적 변수의 정확한 변동 분포를 유도하며, 좌표 불변 Jacobian 요소 $ g^{1/2}(F) $ 를 포함한다.
• ME 방법을 적용하여 캐논리컬 분포를 도출하고, 표준 지수 형태가 대편차 근사로 나타남을 보인다.
• 정보 기하학을 사용하여 피셔 메트릭과 상대 엔트로피를 통계다양체에서의 구별 가능성 측도로 해석한다.

실험 결과

연구 질문

• RQ1 불확실성 하에서 확률과 엔트로피를 사용하는 데에 정당화하는 기본 원리는 무엇인가?
• RQ2 새로운 정보가 도입되었을 때 믿음을 업데이트하는 데에 고유하게 정의할 수 있는 규칙은 무엇인가?
• RQ3 베이지안 추론과 MaxEnt는 하나의 일관된 프레임워크로 통합될 수 있는가?
• RQ4 좌표 불변성이 확률 분포 업데이트에서 수행하는 역할은 무엇인가?
• RQ5 기하학적 및 정보이론적 효과로 인해 열역학적 변수의 변동이 표준 캐논리컬 예측에서 얼마나 벗어나는가?

주요 결과

• ME 방법은 제약 조건 하에서 믿음을 업데이트하는 데에 고유하게 결정되며, 상대 엔트로피가 유일한 일관된 업데이트 규칙이다.
• 시스템의 변동에 대한 정확한 확률 분포는 $ p(F)dF = \frac{1}{\tilde{\rho}} e^{S(F) - \boldsymbol{\nu} \boldsymbol{\bullet} F} g^{1/2}(F) dF $ 로 주어지며, 좌표 불변성을 위해 $ g^{1/2}(F) $ 라는 Jacobian 요소를 포함한다.
• 피셔 메트릭은 엔트로피의 두 번째 도함수로부터 자연스럽게 유도되며, $ g_{ij} = -\frac{\boldsymbol{\nabla}^2 S(F)}{\boldsymbol{\nabla}^2 F^i F^j} $ 로 주어진다. 이는 정보 기하학과 통계역학을 연결한다.
• 라그랑주 승수와 변동하는 관측 가능량 사이의 상관관계는 $ \big\bracevert \boldsymbol{\nu}_i \boldsymbol{\nu}_j \big\bracevert = -\frac{\boldsymbol{\nabla} \big\bracevert \boldsymbol{\nu}_i \big\bracevert}{\boldsymbol{\nabla} \boldsymbol{\nu}_j} + (\boldsymbol{\nu}_{0i} - \big\bracevert \boldsymbol{\nu}_i \big\bracevert)(F_{0j} - \big\bracevert F_j \big\bracevert) $ 로 주어지며, 날카운 최대값 근사에서 $ -\boldsymbol{\nabla}_i^j $ 로 줄어든다.
• 베이즈의 법칙은 제약 조건이 데이터를 통해 업데이트될 때 ME 방법의 특수한 경우로 나타남을 보였다.
• 이 방법은 가용 정보에 의해 최대 엔트로피 분포가 아닌 분포가 얼마나 제거되는지를 평가할 수 있는 기준을 제공하며, 사전 확률에 대해 임의의 가정 없이도 가능하다.