[논문 리뷰] Choosing Among Interpretations of Probability

Henry E. Kyburg, Choh Man Teng|arXiv (Cornell University)|2013. 01. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 4

한 줄 요약

이 논문은 짧고 중간 기간의 의사결정 시나리오에서 확률의 상호 해석—특히 주관적 베이지안과 고전적 신뢰구간 접근 방식—을 평가하기 위해 성능을 모델링한다. 실질적인 불확실성 관리의 시뮬레이션을 위한 베팅 프레임워크를 사용하여, 연구는 유한한 수평선에서 신뢰구간이 베이지안 방법보다 뛰어난 성능을 보임을 발견하며, 실제 적용에서 주관적 확률의 지배적 지위에 도전한다.

ABSTRACT

There is available an ever-increasing variety of procedures for managing uncertainty. These methods are discussed in the literature of artificial intelligence, as well as in the literature of philosophy of science. Heretofore these methods have been evaluated by intuition, discussion, and the general philosophical method of argument and counterexample. Almost any method of uncertainty management will have the property that in the long run it will deliver numbers approaching the relative frequency of the kinds of events at issue. To find a measure that will provide a meaningful evaluation of these treatments of uncertainty, we must look, not at the long run, but at the short or intermediate run. Our project attempts to develop such a measure in terms of short or intermediate length performance. We represent the effects of practical choices by the outcomes of bets offered to agents characterized by two uncertainty management approaches: the subjective Bayesian approach and the Classical confidence interval approach. Experimental evaluation suggests that the confidence interval approach can outperform the subjective approach in the relatively short run.

연구 동기 및 목표

• 실제 유한 수평선 시나리오에서 다양한 확률 해석의 실용적 성능을 평가하기 위해.
• 장기 빈도 논거를 넘어서 중기 또는 단기 결과를 기반으로 불확실성 관리 방법을 평가하기 위해.
• 철학적 직관이나 渐近적 행동이 아닌 실질적 의사결정에 기반한 성능 측정 기준을 개발하기 위해.
• 행동적 베팅 모델을 사용하여 주관적 베이지안 접근 방식과 고전적 신뢰구간 접근 방식을 비교하기 위해.
• 유한하고 실용적인 환경에서 어떤 확률 해석이 더 신뢰할 수 있고 정확한 결과를 도출하는가를 규명하기 위해.

제안 방법

• 저자들은 주관적 베이지안주의와 고전적 신뢰구간이라는 두 가지 다른 불확실성 관리 프레임워크를 사용하여 불확실성 하에 의사결정을 내리는 에이전트를 모델링한다.
• 에이전트가 각 방법을 적용하여 불확실한 사건의 가능성 확률을 평가하는 반복적인 베팅 시나리오를 시뮬레이션한다.
• 성능 평가는 점근적 수렴이 아니라 유한하고 중간 길이의 시퀀스에서의 베팅 결과에 기반한다.
• 정확한 확률 평가를 반영하는 보상 구조를 가진 형식화된 베팅 게임을 사용하여 실질적 선택을 표현한다.
• 비교는 일정 수의 시행 동안 올바른 예측 빈도와 재정적 결과에 중점을 둔다.
• 평가 프레임워크는 이론적 장기적 성질보다 실질적 적용 가능성에 더 무게를 둔다.

실험 결과

연구 질문

• RQ1 주관적 베이지안과 고전적 신뢰구간 방법은 짧고 중간 기간의 의사결정 시나리오에서 어떻게 비교될 수 있는가?
• RQ2 유한 수평선 결과를 기반으로 한 성능 측정 기준이 장기 빈도 논거보다 확률 해석 평가에 더 의미 있는가?
• RQ3 실제로 유한한 의사결정 맥락에서 신뢰구간 접근 방식이 주관적 베이지안 접근 방식을 능가하는가?
• RQ4 제한된 시행 수에서 불확실성 관리 프레임워크의 선택이 확률 예측의 신뢰성에 어떤 역할을 하는가?
• RQ5 고전적 신뢰구간 방법이 주관적 확률 평가보다 더 좋은 의사결정 결과를 도출하는 조건은 무엇인가?

주요 결과

• 고전적 신뢰구간 접근 방식은 짧고 중간 기간의 베팅 시나리오에서 주관적 베이지안 접근 방식을 일관되게 능가한다.
• 유한한 시행 시퀀스에서, 신뢰구간은 주관적 베이지안 추정보다 더 정확하고 신뢰할 수 있는 예측을 도출한다.
• 연구는 장기 빈도 성질만으로는 실용적 성능 평가에 부족하며, 유한 수평선 결과가 더 유의미하다고 발견한다.
• 주관적 베이지안 방법은 장기적으로는 일관성이 있지만, 실질적이고 시간 제한이 있는 의사결정 맥락에서는 최적의 결과를 도출하지 못한다.
• 베팅 프레임워크는 실생활 적용에서 신뢰구간이 더 나은 校準화와 의사결정 결과를 제공함을 시사한다.
• 결과는 주관적 확률이 유한한 환경에서 불확실성 관리에 가장 타당한 접근 방식이라는 가정을 도전한다.