[논문 리뷰] Research Report CALCULATION OF FORENSIC LIKELIHOOD RATIOS: USE OF MONTE CARLO SIMULATIONS TO COMPARE THE OUTPUT OF SCORE- BASED APPROACHES WITH TRUE LIKELIHOOD-RATIO VALUES

Geoffrey Stewart Morrison|arXiv (Cornell University)|2015. 01. 01.

Anomaly Detection Techniques and Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 몬테카를로 시뮬레이션을 사용하여 점수 기반 법의학적 우도비 방법의 정확성을 평가한다. 이는 진짜 우도비를 얼마나 잘 근사하는지 평가하기 위한 것이다. 연구 결과 유사도 점수에만 의존하는 접근 방식은 표본의 일반성(표집 대표성)을 고려하지 못함을 보여주며, 반면 유사도와 일반성을 모두 통합한 방법은 훨씬 더 정확한 결과를 도출함을 입증한다.

ABSTRACT

A group of approaches for calculating forensic likelihood ratios first calculates scores which quantify the degree of difference or the degree of similarity between pairs of samples, then converts those scores to likelihood ratios. In order for a score-based approach to produce a forensically interpretable likelihood ratio, however, in addition to accounting for the similarity of the questioned sample with respect to the known sample, it must also account for the typicality of the questioned sample with respect to the relevant population. The present paper explores a number of score-based approaches using different types of scores and different procedures for converting scores to likelihood ratios. Monte Carlo simulations are used to compare the output of these approaches to true likelihood-ratio values calculated on the basis of the distribution specified for a simulated population. The inadequacy of approaches based on similarity-only or difference-only scores is illustrated, and the relative performance of different approaches which take account of both similarity and typicality is assessed.

연구 동기 및 목표

• 점수 기반 접근 방식이 법의학적 우도비를 추정하는 데 있어 정확도를 평가하는 것.
• 유사도 점수나 차이 점수에만 의존하는 방법의 한계를 규명하는 것.
• 의심 표본의 유사도와 일반성 둘 다를 통합한 방법의 성능을 평가하는 것.
• 모의 인구 분포에서 유도된 진짜 우도비와 비교하여 점수 기반 우도비 출력 결과를 평가하는 것.

제안 방법

• 지정된 인구 분포를 바탕으로 몬테카를로 시뮬레이션을 사용해 인위적 법의학 데이터를 생성하는 것.
• 의심 표본과 알려진 표본 간의 유사도 또는 차이를 측정하는 점수를 계산하는 것.
• 다양한 변환 방법을 사용해 점수를 우도비로 변환하는 것.
• 유도된 우도비를 기초 인구 분포에서 계산된 진짜 우도비와 비교하는 것.
• 점수 기반 출력 결과가 진짜 우도비 값과 얼마나 유사한지 평가함으로써 성능을 평가하는 것.
• 의심 표본이 인구 집단에 얼마나 대표적인지(일반성)를 포함할 경우 정확도에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 유사도 점수만을 사용할 경우, 점수 기반 우도비 방법이 진짜 우도비를 얼마나 정확하게 근사하는가?
• RQ2 점수 기반 우도비 계산에서 일반성을 배제할 경우 어떤 영향이 있는가?
• RQ3 다양한 점수에서 우도비로의 변환 방법 간 정확도를 비교하면 어떻게 되는가?
• RQ4 유사도와 일반성을 모두 통합할 경우, 우도비 추정 정확도가 어느 정도 향상되는가?
• RQ5 모의 인구 조건 하에서 어떤 점수 기반 접근 방식이 진짜 우도비에 가장 가까운가?

주요 결과

• 유사도 점수에만 의존하는 점수 기반 접근 방식은 체계적으로 편향된 우도비를 생성하며, 진짜 증거적 가치를 반영하지 못한다.
• 차이 점수에만 기반한 접근 방식 역시 일반성 고려가 부족하여 정확한 우도비를 도출하지 못한다.
• 의심 표본의 유사도와 일반성을 모두 통합한 방법은 진짜 값에 훨씬 더 가까운 우도비를 도출한다.
• 일반성의 통합은 점수 기반 우도비의 신뢰성과 법의학적 해석 가능성에 크게 기여한다.
• 다양한 점수에서 우도비로의 변환 절차는 성능에 차이를 보이며, 일반성을 고려할 경우 일부 방법에서 뚜렷한 개선이 관찰된다.
• 몬테카를로 시뮬레이션은 진짜 우도비를 가장 잘 근사하는 것이 유사도와 인구 집단의 일반성을 모두 모델링할 경우임을 확인한다.