[論文レビュー] Probability Update: Conditioning vs. Cross-Entropy

Adam J. Grove, Joseph Y. Halpern|arXiv (Cornell University)|Feb 6, 2013

Statistical Mechanics and Entropy参考文献 15被引用数 28

ひとこと要約

この論文は、ヴァン・フラッセーンのジュディ・ベングェン問題のような状況において、標準的な確率更新（条件付き確率の更新）が不確実な証拠を扱うのに十分であると主張し、交差エントロピー最小化の必要性に疑問を呈する。条件付き確率の適切な適用が直感的で整合性のある結果をもたらすのに対し、交差エントロピー法は直感に反する結果を生じることがあるため、不確実な推論文脈における非ベイズ的更新規則の再評価を提唱する。

ABSTRACT

Conditioning is the generally agreed-upon method for updating probability distributions when one learns that an event is certainly true. But it has been argued that we need other rules, in particular the rule of cross-entropy minimization, to handle updates that involve uncertain information. In this paper we re-examine such a case: van Fraassen's Judy Benjamin problem, which in essence asks how one might update given the value of a conditional probability. We argue that -- contrary to the suggestions in the literature -- it is possible to use simple conditionalization in this case, and thereby obtain answers that agree fully with intuition. This contrasts with proposals such as cross-entropy, which are easier to apply but can give unsatisfactory answers. Based on the lessons from this example, we speculate on some general philosophical issues concerning probability update.

研究の動機と目的

• 標準的な確率更新を用いてジュディ・ベングェン問題を再表現・解決すること。
• 不確実な証拠の更新に交差エントロピー最小化が必要であるという一般的な見解に反論すること。
• 適切に適用された条件付き確率の更新が、不確実な条件付き情報の状況において直感的で整合性のある結果をもたらすことを示すこと。
• 人工知能分野における確率更新の基礎に関する哲学的議論に貢献すること。
• 不確実な証拠の文脈において、条件付き確率の更新が十分であるという原則的根拠を提供すること。

提案手法

• 不確実な条件付き確率を事後分布の制約とみなして、ジュディ・ベングェン問題に標準的なベイズ的条件付き確率の更新を適用する。
• 全確率の法則と整合性制約を用いて、事前分布と新たな情報から事後分布を導出する。
• 問題の構造を分析し、不確実な条件付き文が結合分布に対する制約として解釈可能であることを示す。
• 条件付き確率の更新から得られる事後分布と、交差エントロピー最小化によって得られる結果を比較する。
• 論理的・確率的整合性のチェックを用いて、条件付き確率の更新結果の整合性を検証する。
• 条件付き確率の更新結果が、問題に対する直感的推論と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な条件付き確率の更新は、条件付き確率の値が不確実な場合にも、代替の更新規則を必要とせずに処理できるか？
• RQ2 ジュディ・ベングェン問題において、交差エントロピー最小化は条件付き確率の更新よりもより良いか、より整合性のある解をもたらすか？
• RQ3 不確実な信念更新において条件付き確率の更新を交差エントロピーの更新よりも用いることの、哲学的および技術的意味は何か？
• RQ4 不確実な条件付き文を、事後分布に対する制約として解釈する原則的手段は存在するか？
• RQ5 条件付き確率の更新が直感的な結果を生じない状況はどのようなもので、その場合に交差エントロピー最小化が必要となるのか？

主な発見

• ジュディ・ベングェン問題において、不確実な条件付き文に条件付き確率の更新を適用すると、直感的な期待と整合する事後分布が得られる。
• 条件付き確率の更新結果は論理的に整合性があり、追加の最適化を要せず、問題の制約を満たしている。
• 交差エントロピー最小化は、直感に反し、問題の構造から支持されない結果をもたらす。
• 本論文は、この状況において非ベイズ的更新規則（例：交差エントロピー最小化）の必要性が根拠に欠けることを示している。
• 適切に解釈された不確実な条件付き文は、結合分布に対する制約として扱うことができ、これにより標準的な条件付き確率の更新が可能になる。
• 本研究は、不確実な状況下でも条件付き確率の更新が適切かつ十分な信念更新手法であるという見解を支持する。