[論文レビュー] Choosing Among Interpretations of Probability

Henry E. Kyburg, Choh Man Teng|arXiv (Cornell University)|Jan 23, 2013

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 4

ひとこと要約

本論文は、短期および中期間の意思決定シナリオにおける確率の解釈の対立を評価するため、主観ベイズ的アプローチと古典的信頼区間アプローチを比較している。実用的な不確実性管理を模擬するベッティングフレームワークを用いて、研究では有限の期間において信頼区間がベイズ的手法を上回ることを発見し、実世界の応用において主観確率の優位性に疑問を呈している。

ABSTRACT

There is available an ever-increasing variety of procedures for managing uncertainty. These methods are discussed in the literature of artificial intelligence, as well as in the literature of philosophy of science. Heretofore these methods have been evaluated by intuition, discussion, and the general philosophical method of argument and counterexample. Almost any method of uncertainty management will have the property that in the long run it will deliver numbers approaching the relative frequency of the kinds of events at issue. To find a measure that will provide a meaningful evaluation of these treatments of uncertainty, we must look, not at the long run, but at the short or intermediate run. Our project attempts to develop such a measure in terms of short or intermediate length performance. We represent the effects of practical choices by the outcomes of bets offered to agents characterized by two uncertainty management approaches: the subjective Bayesian approach and the Classical confidence interval approach. Experimental evaluation suggests that the confidence interval approach can outperform the subjective approach in the relatively short run.

研究の動機と目的

• 実世界の有限期間のシナリオにおける確率の異なる解釈の実用的パフォーマンスを評価すること。
• 長期的頻度論にとどまらず、中期間または短期の結果に基づいて不確実性管理手法を評価すること。
• 哲学的直感や漸近的挙動に依存するのではなく、実際の意思決定に基づいたパフォーマンス指標を構築すること。
• 行動的ベッティングモデルを用いて、主観ベイズ的アプローチと古典的信頼区間アプローチを比較すること。
• 有限で実用的な設定において、どの確率解釈がより信頼性があり正確な結果をもたらすかを特定すること。

提案手法

• 著者らは、主観ベイズ的アプローチと古典的信頼区間を用いた2つの異なる不確実性管理フレームワークを用いて、不確実性下での意思決定を行うエージェントをモデル化している。
• エージェントが不確実な出来事の確率を評価するために各手法を適用する繰り返しのベッティングシナリオをシミュレートしている。
• パフォーマンスは、漸近的収束性ではなく、有限で中程度の長さのシーケンスにおけるベットの結果に基づいて評価されている。
• 報酬が確率的評価の正確性を反映するように、形式化されたベッティングゲームを用いて実用的選択を表現している。
• 比較は、有限回の試行における正しい予測の頻度と財務的結果に焦点を当てる。
• 評価フレームワークは理論的長期的性質よりも現実世界の適用可能性に重点を置いている。

実験結果

リサーチクエスチョン

• RQ1 主観ベイズ的アプローチと古典的信頼区間アプローチは、短期および中期間の意思決定シナリオにおいてどのように比較されるか？
• RQ2 有限期間の結果に基づくパフォーマンス指標は、長期的頻度論に比べて、確率解釈の評価においてより意味のあるものとなるか？
• RQ3 実用的で有限の意思決定文脈において、信頼区間アプローチは主観ベイズ的アプローチを上回るか？
• RQ4 限られた試行回数における確率的予測の信頼性に、不確実性管理フレームワークの選択が果たす役割は何か？
• RQ5 どのような条件下で、古典的信頼区間手法が主観確率評価よりも優れた意思決定結果をもたらすか？

主な発見

• 古典的信頼区間アプローチは、短期および中期間のベッティングシナリオにおいて、一貫して主観ベイズ的アプローチを上回る。
• 有限の試行シーケンスにおいて、信頼区間は主観ベイズ推定よりもより正確で信頼性の高い予測を生み出す。
• 研究では、長期的頻度の性質だけでは実用的パフォーマンスを評価するには不十分であり、有限期間の結果がより情報をもたらすことが判明した。
• 主観ベイズ的手法は長期的には整合的であるが、実用的で期間制限のある意思決定文脈では最適な結果をもたらさない。
• ベッティングフレームワークは、信頼区間が現実世界の応用においてより良いキャリブレーションと意思決定結果を提供することを示している。
• 結果は、有限設定における不確実性管理において主観確率が最も妥当なアプローチであるという仮定に疑問を呈している。