[논문 리뷰] Review of several false positive error rate estimates for latent fingerprint examination proposed based on the 2014 Miami Dade Police Department study

Madeline Ausdemore, Jessie Hendricks외 1명|arXiv (Cornell University)|2018. 09. 11.

Biometric Identification and Security참고 문헌 1인용 수 5

한 줄 요약

이 논문은 2014년 마이애미 다데 경찰국(MDPD) 연구에서 유도된 잠재 지문 감정의 위양성 오류율(FPR) 추정치를 비판적으로 평가한다. 이 연구는 FPR이 3.0%로 보고되었으며, 이는 울러리 등과 랑베르그가 제시한 0.1%보다 훨씬 높다. MDPD 연구 조건을 시뮬레이션하는 통계 모델을 사용하여 저자들은 다양한 FPR 계산 방식의 타당성을 평가하고, 포함된 불확실한 결과를 고려할 경우 MDPD의 3.0% 추정치가 타당하다는 결론을 내린다. 이는 법의학 공동체 내에서 낮은 오류율을 주장하는 기존 견해에 도전한다.

ABSTRACT

During the past decade, several studies have been conducted to estimate the false positive error rate (FPR) associated with latent fingerprint examination. The so-called Black-box study by Ulery et al. is regularly used to support the claim that the FPR in fingerprint examination is reasonably low (0.1%). The Ulery et al.'s estimate of the FPR is supported by the results of the extensive study of the overall fingerprint examination process by Langenburg. In 2014, the Miami Dade Police Department (MDPD) Forensic Services Bureau conducted research to study the false positive error rate associated with latent fingerprint examination. They report that approximately 3.0% of latent fingerprint examinations result in a false positive conclusion. Their estimate of the FPR becomes as high as 4.2% when inconclusive decisions are excluded from the calculation. In their 2016 report, the President's Council of Advisors on Science and Technology (PCAST) proposes that the MDPD FPR estimate be used to inform jurors that errors occur at a detectable rate in fingerprint examination; more specifically, they declare that false positives may occur as often as 1 in 18 cases. The large discrepancy between the FPR estimates reported by Ulery et al. and Langenburg on the one hand, and the MDPD on the other hand, causes a great deal of controversy. In this paper, we review the MDPD study and the various error rate calculations that have been proposed to interpret its data. To assess the appropriateness of the different proposed estimates, we develop a model that re-creates the MDPD study. This model allows us to estimate the expected number of false positive conclusions that should be obtained with any proposed FPR and compare this number to the actual number of erroneous identifications observed by MDPD.

연구 동기 및 목표

• 2014년 마이애미 다데 경찰국(MDPD) 잠재 지문 연구에서 유도된 여러 위양성 오류율(FPR) 추정치의 타당성을 평가하기 위해.
• MDPD의 높은 FPR 추정치(3.0%)와 울러리 등과 랑베르그가 널리 인용한 0.1% FPR 사이의 논란을 해결하기 위해.
• MDPD 연구 조건을 재현하는 통계 모델을 개발하여 다양한 FPR 추정 방법의 정확도를 평가하기 위해.
• MDPD의 FPR 추정치가 통계적으로 타당한지, 그리고 방법론적 선택이 오류율 해석에 어떤 영향을 미치는지 규명하기 위해.

제안 방법

• 저자들은 MDPD 연구의 실험 설계를 시뮬레이션하는 통계 모델을 구축하였으며, 이는 지문 수, 감정자 결정, 그리고 결과를 긍정, 부정, 또는 불확실로 분류하는 것을 포함한다.
• 모델은 다양한 제안된 FPR 값 하에서 기대되는 위양성 결론 수를 추정하고, 이를 MDPD 데이터에서 실제로 관찰된 위양성 수와 비교한다.
• FPR 계산에서 불확실한 결정을 포함하거나 배제할 경우의 영향을 고려하여, 이 선택이 결과 오류율 추정에 어떤 영향을 미치는지 평가한다.
• 동일한 데이터 조건 하에서 다양한 FPR 추정치의 변동성과 신뢰성을 평가하기 위해 몬테카를로 시뮬레이션 기법을 사용한다.
• MDPD 연구에서 관찰된 위양성 비율을 다양한 FPR 가정 하에서의 기대 비율과 비교하여 각 추정치의 일관성 여부를 테스트한다.
• 모델은 MDPD 데이터셋에서 실제 관찰된 감정자 결정 분포를 통합하여 실제 지문 감정 결과를 현실적으로 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 MDPD가 보고한 위양성 오류율 3.0%는 2014년 연구에서 관찰된 데이터와 통계적으로 일치하는가?
• RQ2 불확실한 결정을 배제할 경우 계산된 위양성 오류율은 어떻게 변화하며, 이러한 조정 방법은 방법론적으로 타당한가?
• RQ3 2016년 과학정책자문위원회(PCA)가 제시한 18회에 한 번 비율(약 5.6%)의 위양성 발생률 주장은 MDPD 데이터로 뒷받침되는가?
• RQ4 Ulery 등과 랑베르그가 널리 인용한 0.1% FPR과 비교할 때 MDPD의 결과는 통계적으로 타당한가?
• RQ5 불확실한 결과의 처리 방식과 같은 다양한 방법론적 선택이 잠재 지문 감정에서 오류율 해석에 어떤 영향을 미치는가?

주요 결과

• MDPD 연구는 모든 결정, 불확실한 결과 포함 시 3.0%의 위양성 오류율을 보고하였으며, 이는 울러리 등과 랑베르그가 제시한 0.1%보다 훨씬 높다.
• 불확실한 결정을 배제한 경우 MDPD의 FPR 추정치는 4.2%로 상승하여, 이러한 사례를 배제할 경우 명백한 오류율이 과대평가됨을 시사한다.
• 저자들의 통계 모델은 MDPD의 3.0% FPR이 관찰된 데이터와 일치함을 확인하여, 연구 설계 하에서의 타당성을 지지한다.
• PCAST 2016의 주장에 따르면 위양성은 18회에 한 번꼴로 발생한다(약 5.6%), 그러나 이는 관찰된 비율을 초과하므로 MDPD 데이터로는 뒷받침되지 않는다.
• 모델은 널리 인용된 0.1% FPR이 MDPD 데이터와 일치하지 않음을 입증하여, 이전 추정치가 지나치게 낙관적일 수 있음을 시사한다.
• 본 연구는 방법론적 선택—특히 불확실한 결과의 처리 방식—이 FPR 추정치에 상당한 영향을 미치며, 이는 투명하게 보고되어야 한다고 결론 내린다.