[논문 리뷰] A defense of Columbo (and of the use of Bayesian inference in forensics): A multilevel introduction to probabilistic reasoning

G. D’Agostini|arXiv (Cornell University)|2010. 03. 10.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 5

한 줄 요약

이 논문은 베이지안 추론을 형사 사법적 추론에 적용하는 것을 정당화하기 위해 유명한 콜럼보 에피소드를 확률적 추론의 유효한 적용 사례로 분석한다. 불확실한 증언을 포함한 다수준 베이지안 네트워크 모델을 사용하여, 탐정이 살인자를 정확한 카메라를 특정하도록 유도하는 방법이 사전 신념과 증언 신뢰도를 갱신함으로써 강력하고 일관된 증거를 이룬다는 점을 보여주며, 법정에서의 '확률적 함정' 주장에 대비한다.

ABSTRACT

Triggered by a recent interesting New Scientist article on the too frequent incorrect use of probabilistic evidence in courts, I introduce the basic concepts of probabilistic inference with a toy model, and discuss several important issues that need to be understood in order to extend the basic reasoning to real life cases. In particular, I emphasize the often neglected point that degrees of beliefs are updated not by `bare facts' alone, but by all available information pertaining to them, including how they have been acquired. In this light I show that, contrary to what claimed in that article, there was no "probabilistic pitfall" in the Columbo's episode pointed as example of "bad mathematics" yielding "rough justice". Instead, such a criticism could have a `negative reaction' to the article itself and to the use of Bayesian reasoning in courts, as well as in all other places in which probabilities need to be assessed and decisions need to be made. Anyway, besides introductory/recreational aspects, the paper touches important questions, like: role and evaluation of priors; subjective evaluation of Bayes factors; role and limits of intuition; `weights of evidence' and `intensities of beliefs' (following Peirce) and `judgments leaning' (here introduced), including their uncertainties and combinations; role of relative frequencies to assess and express beliefs; pitfalls due to `standard' statistical education; weight of evidences mediated by testimonies. A small introduction to Bayesian networks, based on the same toy model (complicated by the possibility of incorrect testimonies) and implemented using Hugin software, is also provided, to stress the importance of formal, computer aided probabilistic reasoning.

연구 동기 및 목표

• 코로나 에피소드 '네거티브 리액션'의 한 장면이 법정 증거 평가에서 '확률적 함정'을 포함한다는 주장에 대비하기 위해.
• 증거 확보의 맥락을 포함한 전체 정보를 바탕으로 올바로 적용된 베이지안 추론이 일반적인 확률적 추론 오류를 피할 수 있음을 보여주기 위해.
• 사전 신념, 증언의 신뢰도, 증거의 구조를 형사 결정 과정에 통합하는 중요성을 부각하기 위해.
• 직관이나 빈도주의 해석 오류에 과도하게 의존하는 것을 피하기 위해 베이지안 네트워크를 공식 도구로 사용할 것을 주장하기 위해.
• 개별 증언의 신뢰도가 불확실하더라도 다수의 일치하는 증언이 진실성에 대한 신뢰를 높인다는 점을 보여주기 위해.

제안 방법

• 12개의 검은 공과 1개의 흰 공이 들어 있는 상자를 모의하여 형사 증거 확보와 증언을 시뮬레이션한다.
• 베이즈 정리를 적용하여 증거와 증언을 바탕으로 진실 상태(예: 어떤 카메라가 사용되었는지)에 대한 신념 정도를 갱신한다.
• 베이즈 네트워크를 헤긴 소프트웨어에 구현하여 상자 구성, 증언 보고, 진술의 신뢰도 간의 종속성을 모델링한다.
• 효과적 베이즈 오즈를 계산하여 가설에 대한 증거의 무게를 수량화하며, 공식 $\tilde{O}_{B_1}(B_T,I) = \frac{1}{P(W|B_2) + P(B|B_2)/\lambda}$ 를 사용한다.
• 증언 신뢰도를 잠재 변수로 모델링하며, 거짓말할 확률의 사전 확률(예: $\lambda = 1/5$)을 설정하고, 보고의 일관성에 따라 신념을 갱신한다.
• 반복적인 네트워크 갱신을 통해 순차적 증거를 시뮬레이션: 첫 번째와 두 번째 증언자는 '흰색'이라고 보고, 세 번째 증언자는 '검은색'이라고 보고, 이후 직접 검은 공을 관찰한다.

실험 결과

연구 질문

• RQ1 코로나 탐정이 살인자를 정확한 카메라를 특정하도록 유도하는 방법은 확률적 추론의 타당한 적용인지, 아니면 '확률적 함정'을 범했는가?
• RQ2 다수의 일치하거나 상반된 증언의 신뢰도가 자연의 진실 상태에 대한 사후 신념에 어떻게 영향을 미치는가?
• RQ3 사전 신념과 증거 확보 방법이 형사 사례에서 최종 확률 평가에 얼마나 영향을 미치는가?
• RQ4 베이지안 네트워크가 법적 및 과학적 맥락에서 불확실한 증거에 대한 직관적 추론을 형식화하고 향상시킬 수 있는가?
• RQ5 증언이 불확실하거나 상반될 경우, 베이즈 오즈가 증거의 무게를 어떻게 수량화하는가?

주요 결과

• 살인자가 정확한 카메라를 특정한 것이 무작위가 아니고 콜럼보의 질문에 대한 반응이라는 맥락을 고려한 후, 그 카메라가 올바른 카메라일 확률은 1/12에서 75.7%로 상승하였다.
• 두 증언자가 '흰색'이라고 보고하고 세 번째 증언자가 '검은색'이라고 보고한 후, 상자가 $B_1$ (흰 공)일 확률은 75.7%로 떨어졌으며, 베이즈 오즈는 3.1로, $B_1$에 대해 중간 정도의 반증 증거를 나타냈다.
• 두 증언자가 일치하여 보고한 후, 첫 번째 두 증언자가 진실을 말했다는 믿음은 85%에서 95%로 상승하여 일관성이 신뢰도를 높인다는 것을 보여주었다.
• 세 번째 증언자가 첫 번째 두 증언자와 상반된 보고를 한 후, 첫 번째 두 증언자가 진실을 말했다는 믿음은 83%로 떨어졌고, 세 번째 증언자의 신뢰도는 76%로 낮아져 다수의 보고가 더 무게를 지닌다는 점을 보여주었다.
• 직접 검은 공을 관찰한 후, 향후 추출에서 흰 공이 나올 확률은 7.7%로 떨어졌고, 첫 번째 두 증언자가 거짓말을 했다는 믿음은 70.6%로 상승하였으며, 세 번째 증언자의 거짓말 확률은 1.6%로 낮아졌다.
• 네트워크 모델은 정성적 직관이 정량적 베이지안 결과와 일치함을 확인했지만, 오직 계산을 통해 불확실성 하에서의 신념 갱신 정확도를 산출할 수 있음을 보여주었다.