[논문 리뷰] Probability Update: Conditioning vs. Cross-Entropy

Adam J. Grove, Joseph Y. Halpern|arXiv (Cornell University)|2013. 02. 06.

Statistical Mechanics and Entropy참고 문헌 15인용 수 28

한 줄 요약

이 논문은 표준 확률 갱신 방식인 조건부 확률 적용이 불확실한 증거를 다루는 데에 충분하다고 주장하며, 반-프라센의 줌비 벤자민 문제와 같은 경우에서 교차 엔트로피 최소화의 필요성을 도전한다. 조건부 확률 적용을 적절히 시행하면 직관적이고 일관된 결과를 얻을 수 있으며, 반면 교차 엔트로피 방법은 직관에 어긋나는 결과를 낳을 수 있음을 보여주며, 이는 불확실한 추론 맥락에서 비베이지안 갱신 규칙의 재고가 필요하다는 주장을 펼친다.

ABSTRACT

Conditioning is the generally agreed-upon method for updating probability distributions when one learns that an event is certainly true. But it has been argued that we need other rules, in particular the rule of cross-entropy minimization, to handle updates that involve uncertain information. In this paper we re-examine such a case: van Fraassen's Judy Benjamin problem, which in essence asks how one might update given the value of a conditional probability. We argue that -- contrary to the suggestions in the literature -- it is possible to use simple conditionalization in this case, and thereby obtain answers that agree fully with intuition. This contrasts with proposals such as cross-entropy, which are easier to apply but can give unsatisfactory answers. Based on the lessons from this example, we speculate on some general philosophical issues concerning probability update.

연구 동기 및 목표

• 표준 확률 갱신을 사용하여 줌비 벤자민 문제를 재표현하고 해결하기.
• 불확실한 증거에 갱신하기 위해 교차 엔트로피 최소화가 필수적이라는 일반적인 견해에 도전하기.
• 조건부 확률 적용이 올바르게 시행될 경우, 불확실한 조건부 정보 상황에서 직관적이고 일관된 결과를 도출할 수 있음을 보여주기.
• 인공지능 분야에서 확률 갱신의 기초에 대한 철학적 논의에 기여하기.
• 불확실한 증거 맥락에서 조건부 확률 갱신의 충분성에 대한 원칙적인 논거 제공하기.

제안 방법

• 불확실한 조건부 문장을 후행 분포에 대한 제약 조건으로 간주하여 줄리 벤자민 문제에 표준 베이지안 조건부 확률 적용을 시행한다.
• 전체 확률의 법칙과 일관성 제약 조건을 사용하여 사전 분포와 새로운 정보로부터 갱신된 후행 분포를 유도한다.
• 문제의 구조를 분석하여 불확실한 조건부 문장이 결합 분포에 대한 제약 조건으로 해석될 수 있음을 보여준다.
• 조건부 확률 갱신으로 도출된 후행 분포를 교차 엔트로피 최소화로 도출된 결과와 비교한다.
• 논리적 및 확률적 일관성 검사를 통해 조건부 확률 갱신 결과의 타당성을 검증한다.
• 조건부 확률 갱신 결과가 문제에 대한 직관적 추론과 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 표준 조건부 확률 갱신은 조건부 확률의 값과 같은 불확실한 증거를 다룰 수 있는가? 추가 갱신 규칙이 필요로 하는가?
• RQ2 줌비 벤자민 문제에서 교차 엔트로피 최소화가 조건부 확률 갱신보다 더 나은 또는 더 일관된 해답을 제공하는가?
• RQ3 불확실한 믿음 갱신에 대해 조건부 확률 갱신을 교차 엔트로피보다 사용할 경우 철학적 및 기술적 함의는 무엇인가?
• RQ4 불확실한 조건부 문장을 후행 분포에 대한 제약 조건으로 해석할 수 있는 원칙적인 방법이 있는가?
• RQ5 조건부 확률 갱신이 직관적인 결과를 도출하지 못하는 조건은 언제이며, 교차 엔트로피가 필요한 경우는 언제인가?

주요 결과

• 줌비 벤자민 문제에서 불확실한 조건부 문장을 조건부 확률 갱신하면 직관적 기대와 일치하는 후행 분포가 도출된다.
• 조건부 확률 갱신 결과는 논리적으로 일관되며, 추가 최적화 없이 문제의 제약 조건을 만족한다.
• 교차 엔트로피 최소화는 직관에 어긋나며 문제의 구조에 의해 지지되지 않는 결과를 낳는다.
• 이 논문은 이 경우에서 비베이지안 갱신 규칙인 교차 엔트로피 최소화의 필요성이 정당하지 않음을 보여준다.
• 적절히 해석할 경우, 불확실한 조건부 문장을 결합 분포에 대한 제약 조건으로 간주할 수 있어 표준 조건부 확률 갱신이 가능해진다.
• 이 연구는 조건부 확률 갱신이 불확실성 하에서도 믿음 갱신에 적합하고 충분한 방법임을 지지한다.