[논문 리뷰] Likelihood Ratio as Weight of Forensic Evidence: A Metrological Perspective

Steven P. Lund, Hari Iyer|arXiv (Cornell University)|2016. 08. 26.

Time Series Analysis and Forecasting참고 문헌 14인용 수 3

한 줄 요약

이 논문은 법의학 증거의 무게를 측정하는 이식 가능한 척도로 상대적 가능도 비율(Likelihood Ratio, LR)을 사용하는 관행를 도전하며, LR가 본질적으로 주관적인 만큼, 종합적인 불확실성 특성화가 없으면 측정 과학적 엄격함을 확보할 수 없다고 주장한다. 대신 법의학 전문가들은 LR의 객관적 측정 상태를 주장하기보다는, Lattice of Assumptions와 Uncertainty Pyramid와 같은 도구를 활용해 투명하고 가정에 기초한 분석을 제시하여 결론 도출자들이 스스로 해석을 내릴 수 있도록 지원해야 한다고 제안한다.

ABSTRACT

In this article we provide a rebuttal against the possible perception that a single number, such as the Likelihood Ratio, can provide an objective, authoritative or definitive weight of evidence. We also illustrate the extent to which conclusions can vary depending on the assumptions used in the analysis, even under alternative assumptions that are judged to be consistent with available empirical information. To facilitate these goals, we introduce the notion of a Lattice of Assumptions and an Uncertainty Pyramid illustrated in the context of a previously published example involving glass evidence. We take the position that rather than focusing on a single number summary as the weight of evidence it is the duty of the forensic expert to assist the trier of fact in forming their own interpretations from a clear understanding of the objective and demonstrably available information. We hope the presented arguments will inspire those in the forensic science community to pursue establishing their practice on a solid foundation of measurement science.

연구 동기 및 목표

• 결정자들에게 단일 가능도 비율(Likelihood Ratio, LR)을 '증거의 무게'로 보고하는 것이 일반적인 관행이 되어 있는 관점에 도전하기 위해.
• LR가 주관적인 베이지안 구조물이므로 측정 과학에서 요구하는 추적 가능성, 재현성, 재현 가능성을 갖추지 못하고 있음을 강조하기 위해.
• 불확실성 특성화 없이 LR을 제시하는 것은 이를 보편적이고 정밀한 측정으로 오해하게 만들며, 이는 LR의 이식 가능성에 해를 끼친다고 주장하기 위해.
• 법의학 전문가들이 오히려 자신의 해석에 뒷받침되는 가정과 불확실성을 명확히 공유함으로써 결정자들을 지원해야 한다고 주장하기 위해.
• 법의학 과학 공동체가 전문가 보고서에 측정 과학 원칙을 도입하여 객관성에 대한 주장보다 투명성을 우선시하도록 장려하기 위해.

제안 방법

• 가능도 비율(Likelihood Ratio, LR)이 증거의 무게를 측정하는 데 적합한지 여부를 측정 과학적 관점에서 평가하기 위해.
• 실험적 데이터와 일치하는 다양한 모델링 선택지를 체계적으로 탐색하기 위해 '가정의 격자(Lattice of Assumptions)'를 도입하기 위해.
• 다양한 타당한 가정 하에서 얻을 수 있는 LR 값의 범위를 비주얼라이제이션하여 이해하기 쉽게 하기 위해 '불확실성 피라미드(Uncertainty Pyramid)'를 구축하기 위해.
• 전문가가 제공한 LR과 결정자가 이를 사용하는 방식 사이의 괴리를 보여주기 위해 베이지안 업데이트 프레임워크를 활용하기 위해.
• 데이터, 가정, 모델링 선택지를 포함한 보고 절차와 결과를 투명하게 공개하여 결정자가 스스로 사후 오즈를 도출할 수 있도록 지원하기 위해.
• 불확실성이 너무 크거나 정량화하기 어려운 경우, LR을 분류 점수로 활용하고 ROC 곡선을 통해 경험적으로 평가하는 것이 확률적 해석보다 더 타당할 수 있음을 제안하기 위해.

실험 결과

연구 질문

• RQ1 측정 과학 기준에 따르면 단일 가능도 비율(Likelihood Ratio, LR) 값이 법의학 증거의 무게를 타당한 측정으로 간주할 수 있는가?
• RQ2 모집단 정의, 가능도 함수, 사전 확률과 같은 주관적인 모델링 선택지가 LR에 미치는 영향은 얼마나 크며, 이는 LR의 재현 가능성에 어떤 영향을 미치는가?
• RQ3 LR가 법의학적 결정에서 신뢰할 수 있고 이식 가능한 측정 척도로 간주되기 위해 필요한 불확실성 특성화는 무엇인가?
• RQ4 언제 어떤 상황에서 LR을 확정적인 증거의 무게로 제시하는 것이 부적절하거나 오해의 소지가 있는가?
• RQ5 본질적으로 주관적인 해석에 대해 객관성의 주장을 하지 않는 한, 법의학 전문가들은 어떻게 결정자들을 더 잘 지원할 수 있는가?

주요 결과

• 현재 법의학 전문가들이 보고하는 가능도 비율(Likelihood Ratio, LR)은 추적 가능성이 없고 校정이 없으며 불확실성 추정치가 동반되지 않아 측정 과학적 지위를 확보하지 못하고 있다.
• LR는 본질적으로 개인적 확률 비율이며, 보편적인 측정이 아니며 이를 그렇게 취급하는 것은 베이지안 업데이트에서의 역할을 잘못 이해하게 만든다.
• 주관적인 가정에 의존하므로 전문가나 결정자 간에 LR 값의 재현성이 매우 의심스럽고, 이러한 가정은 거의 정량화되지 않는다.
• 가정의 격자(Lattice of Assumptions)와 불확실성 피라미드(Uncertainty Pyramid)와 같은 도구를 활용해 타당한 가정의 체계적 분석을 통해 LR 값의 불확실성을 탐색할 수 있다.
• 불확실성 특성화가 불가능한 경우, 저자들은 LR을 증거의 무게로 보고해서는 안 되며, 대안적 보고 방식을 사용해야 한다고 주장한다.
• 불확실성이 너무 크거나 정량화하기 어려운 경우, LR을 분류 점수로 활용하고 ROC 곡선을 통해 경험적으로 평가하는 것이 확률적 해석보다 더 타당한 대안이 될 수 있다.