[논문 리뷰] Score-based likelihood ratios to evaluate forensic pattern evidence

Nathaniel Garton, Danica M. Ommen외 2명|arXiv (Cornell University)|2020. 02. 21.

Forensic and Genetic Research참고 문헌 24인용 수 9

한 줄 요약

이 논문은 전통적인 우도비가 비현실적인 경우, 지문과 도구자국과 같은 형량 증거 평가를 위한 실용적인 대안으로 점수 기반 우도비(SLRs)를 제안한다. 기계학습을 활용해 유사도 점수를 생성함으로써, 저자들은 합리적인 가정 하에 SLRs가 이상적인 우도비를 통계적으로 타당한 근사치로 제공함을 보여주며, 근사 오차가 존재하더라도 증거의 방향성과 강도를 유지함을 보여주는 이론적 경계를 제시한다.

ABSTRACT

In 2016, the European Network of Forensic Science Institutes (ENFSI) published guidelines for the evaluation, interpretation and reporting of scientific evidence. In the guidelines, ENFSI endorsed the use of the likelihood ratio (LR) as a means to represent the probative value of most types of evidence. While computing the value of a LR is practical in several forensic disciplines, calculating an LR for pattern evidence such as fingerprints, firearm and other toolmarks is particularly challenging because standard statistical approaches are not applicable. Recent research suggests that machine learning algorithms can summarize a potentially large set of features into a single score which can then be used to quantify the similarity between pattern samples. It is then possible to compute a score-based likelihood ratio (SLR) and obtain an approximation to the value of the evidence, but research has shown that the SLR can be quite different from the LR not only in size but also in direction. We provide theoretical and empirical arguments that under reasonable assumptions, the SLR can be a practical tool for forensic evaluations.

연구 동기 및 목표

• 표준 통계적 방법이 실패하는 지문과 도구자국과 같은 형량 증거에 대해 우도비(LR)를 계산하는 데 도전하는 문제를 해결하기 위해.
• 전체 데이터 분포를 다룰 수 없는 상황에서 점수 기반 우도비(SLRs)의 타당성과 신뢰성을 평가하기 위해.
• SLRs가 이상적인 LR을 뒤집지 않고도 근사할 수 있는 이론적 및 경험적 조건을 설정하기 위해.
• 특히 모델 오설정과 고차원 데이터에서의 일致성과 강건성과 같은 SLRs의 통계적 성질을 조사하기 위해.
• 해석 가능성과 정확성이 핵심적인 법원 환경에서 SLRs를 사용하는 데 있어 원칙적인 정당성을 제공하기 위해.

제안 방법

• 저자들은 두 경쟁 가설 하에서 점수 분포를 모델링한다: 기소 측의 가설(H_p)은 증거가 알려진 원천을 공유할 때이고, 방어 측의 가설(H_d)은 그렇지 않을 때이다.
• 기계학습 알고리즘을 사용해 고차원 패턴 데이터(예: 신발자국 이미지의 픽셀 값)로부터 저차원 유사도 점수를 도출함으로써 복잡성을 줄이고 분류 능력을 유지한다.
• SLR는 비모수적 밀도 추정 기법을 사용해 H_p 하에서 점수의 밀도 추정치를 H_d 하에서의 밀도 추정치로 나누어 계산한다.
• 쿠르바크-라이블러(KL) 발산을 사용해 이론적 경계를 유도하며, 전체 데이터 분포 간 KL 발산이 절대적으로 점수 분포 간 KL 발산보다 크거나 같음을 보여주어, SLRs가 증거 방향을 뒤집지 않음을 시사한다.
• 모의 실험과 경험적 데이터를 사용해 SLR 성능을 검증하며, 특히 샘플링된 점수의 상관관계와 고차원 설정에서의 성능을 다룬다.
• 점수 분포의 꼬리 행동을 분석하고 우도비 근사 오차에 대한 확률적 경계를 유도함으로써 SLRs와 진정한 LR 간의 격차를 검토한다.

실험 결과

연구 질문

• RQ1 전체 데이터 분포를 모델링하기가 비현실적인 상황에서, 점수 기반 우도비(SLRs)가 이상적인 우도비(LR)를 신뢰성 있게 근사할 수 있는가?
• RQ2 SLRs가 증거의 방향성과 강도를 유지하여 결론의 뒤집힘을 방지하는 조건은 무엇인가?
• RQ3 특히 고차원 데이터 설정에서 SLRs의 통계적 성질은 진정한 LR과 어떻게 비교되는가?
• RQ4 점수 분포를 구성하는 데 종속된 샘플을 사용할 경우의 영향은 무엇인가?
• RQ5 점수 분포와 전체 데이터 분포 간 KL 발산에 대한 이론적 경계가 SLRs가 진정한 LR에 대한 일관된 근사치임을 보장할 수 있는가?

주요 결과

• H_p와 H_d 하에서 전체 데이터 분포 간 KL 발산은 절대적으로 해당 점수 분포 간 KL 발산보다 크거나 같으며, 이는 SLRs가 증거의 방향을 뒤집지 않음을 보장한다.
• 이론적 경계는 SLRs가 진정한 LR에 대해 보수적인 근사치임을 보여주며, 데이터의 차원이 증가할수록 오차가 더욱 심화됨을 시사한다.
• 경험적 결과는 SLRs가 진정한 LR보다 더 안정적임을 보여주며, 일반적으로 |log SLR|가 |log LR|보다 작아 해석의 변동성이 감소함을 시사한다.
• SLRs가 항상 진정한 LR의 크기를 정확히 맞추지는 않지만, 방어 가설 하에서 극단적인 SLR 값이 흔하지 않기 때문에 실무에서 신뢰할 수 있다. 이는 큰 β에 대해 P(SLR > β | H_d)가 작다는 것으로 확인된다.
• 점수 분포가 종속된 샘플에 기반할 경우 SLR 추정이 손상될 수 있으며, 유효한 추론을 위해 추가적인 가정이 필요하다.
• 한계가 있음에도 불구하고, 저자들은 합리적인 모델링 가정 하에서 SLRs가 실용적이고 정당화된 형량 평가 도구임을 결론짓는다.