[논문 리뷰] Maximum Entropy: The Universal Method for Inference

Adom Giffin|ArXiv.org|2009. 01. 20.

Statistical Mechanics and Entropy참고 문헌 34인용 수 8

한 줄 요약

이 논문은 최대 엔트로피(ME) 방법을 유추 추론을 위한 일반적 프레임워크로 도입하여 베이지안 업데이트와 MaxEnt 추론을 통합한다. ME는 데이터와 모멘트 제약 조건을 동시에 처리할 수 있음을 보여주며, 이는 두 접근법 간의 호환성을 입증한다. 주요 기여는 데이터 및 기대값 제약 조건이 동시에 존재할 경우 일반적인 캐논리컬 사후 분포를 유도한 것으로, 이는 베이즈의 법칙과 MaxEnt를 모두 일반화한다. 이는 베이지안 및 엔트로피 기반 방법 간의 호환성을 입증하며, 다양한 유형의 정보를 동시에 처리할 수 있도록 한다.

ABSTRACT

In this thesis we start by providing some detail regarding how we arrived at our present understanding of probabilities and how we manipulate them - the product and addition rules by Cox. We also discuss the modern view of entropy and how it relates to known entropies such as the thermodynamic entropy and the information entropy. Next, we show that Skilling's method of induction leads us to a unique general theory of inductive inference, the ME method and precisely how it is that other entropies such as those of Renyi or Tsallis are ruled out for problems of inference. We then explore the compatibility of Bayes and ME updating. We show that ME is capable of producing every aspect of orthodox Bayesian inference and proves the complete compatibility of Bayesian and entropy methods. The realization that the ME method incorporates Bayes' rule as a special case allows us to go beyond Bayes' rule and to process both data and expected value constraints simultaneously. We discuss the general problem of non-commuting constraints, when they should be processed sequentially and when simultaneously. The generic "canonical" form of the posterior distribution for the problem of simultaneous updating with data and moments is obtained. This is a major achievement since it shows that ME is not only capable of processing information in the form of constraints, like MaxEnt and information in the form of data, as in Bayes' Theorem, but also can process both forms simultaneously, which Bayes and MaxEnt cannot do alone. Finally, we illustrate some potential applications for this new method by applying ME to potential problems of interest.

연구 동기 및 목표

• 베이지안 접근법과 최대 엔트로피 접근법을 모두 포함하는 통합적이고 일반적인 유추 추론 이론을 수립하기 위해.
• 베이지안 및 엔트로피 기반 방법이 제약 조건과 데이터를 동시에 처리할 때 서로 호환되는지 오랫동안 남아 있던 질문을 해결하기 위해.
• 데이터 및 기대값 제약 조건이 동시에 존재할 경우 사후 분포의 캐논리컬 형태를 도출하기 위해.
• 리아니, 차illis 등 다른 엔트로피가 ME 프레임워크 하에서 유추 추론 원칙과 호환되지 않는 이유를 밝히기 위해.
• 기존의 베이즈의 법칙을 넘어서, 원칙적인 방식으로 모멘트 제약 조건을 통합함으로써 추론 범위를 확장하기 위해.

제안 방법

• 가능성에 대한 코크스의 곱셈 및 덧셈 법칙에서 유도된 ME 방법은 고유한 일반적 유추 추론 이론을 수립한다.
• 스킬링의 유추 원칙을 적용하여 ME 형식을 유도하며, 이는 제약 조건 하에서 사후 분포를 고유하게 결정한다.
• 새로운 정보가 도입될 때 믿음의 업데이트를 위해 최소 교차 엔트로피(또는 최대 상대 엔트로피) 원칙을 사용한다.
• 데이터 및 모멘트 제약 조건을 동시에 포함하는 문제에 대해 캐논리컬 사후 분포를 닫힌 형태로 유도하며, 이는 베이즈 정리와 MaxEnt를 모두 일반화한다.
• 이 방법은 데이터를 딱딱한 제약 조건으로, 기대값을 부드러운 제약 조건으로 간주하여, 단일 변분 원리로 동시에 업데이트할 수 있도록 한다.
• 오직 데이터만 존재할 경우 베이지안 업데이트와 일관되며, 오직 모멘트 제약 조건만 존재할 경우 MaxEnt와 일관됨을 입증한다.

실험 결과

연구 질문

• RQ1 단일 추론 방법이 베이지안 업데이트와 최대 엔트로피 추론을 통합할 수 있는가?
• RQ2 데이터 및 모멘트 제약 조건을 일관적이고 조화로운 방식으로 동시에 처리하는 방법은 무엇인가?
• RQ3 왜 리아니나 차illis 엔트로피와 같은 대체 엔트로피는 ME 프레임워크 하에서 유추 추론과 호환되지 않는가?
• RQ4 데이터 및 기대값 제약 조건이 동시에 존재할 경우 사후 분포의 캐논리컬 형태는 무엇인가?
• RQ5 ME 방법은 베이즈의 법칙과 완전히 호환되는가? 만약 그렇다면, 그것이 어떻게 그것을 초월하는가?

주요 결과

• ME 방법은 베이즈의 법칙과 MaxEnt를 고유하게 일반화하며, 오직 데이터 제약 조건이 존재할 경우 베이즈의 법칙이 ME의 특수한 경우임을 보여준다.
• 데이터 및 모멘트 제약 조건을 동시에 처리할 경우, ME는 일반적인 캐논리컬 사후 분포 형태를 제공한다.
• 유도 과정을 통해 ME 프레임워크 하에서 유추 추론 원칙과 호환되는 유일한 엔트로피는 표준(볼츠만-지브스-샤논) 엔트로피임을 입증하며, 리아니 및 차illis 엔트로피를 배제한다.
• ME는 베이지안 추론과 완전히 호환되며, 두 접근법은 서로 일관되며 서로 보완적인 방식으로 다양한 유형의 정보를 처리할 수 있다.
• 이 방법은 데이터 및 기대값 제약 조건을 동시에 처리할 수 있으며, 이는 베이즈 정리나 MaxEnt만으로는 달성할 수 없는 능력이다.
• ME를 통해 유도된 캐논리컬 사후 분포는 주어진 모든 제약 조건을 만족하면서 정보 획득을 최소화하는 유일한 해임을 입증한다.