[논문 리뷰] Accuracy, Repeatability, and Reproducibility of Firearm Comparisons Part 1: Accuracy

L.S. Chumbley, Max D. Morris외 5명|arXiv (Cornell University)|2021. 07. 30.

Forensic and Genetic Research참고 문헌 20인용 수 6

한 줄 요약

이 연구는 173명의 자문자와 20,130회의 비교를 포함한 대규모이고 통제된 실험을 통해 증거로 사용되는 총탄과 탄피를 비교할 때 법의학 총탄 전문가들의 정확도를 평가한다. 총탄에 대한 잘못된 양성률은 0.656%, 탄피에 대한 잘못된 양성률은 0.933%이며, 95% 신뢰구간은 전문가 간의 통계적 변동성을 보여주며, 법의학적 의사결정 과정에서 전문가별 오차 모델링의 중요성을 강조한다.

ABSTRACT

Researchers at the Ames Laboratory-USDOE and the Federal Bureau of Investigation (FBI) conducted a study to assess the performance of forensic examiners in firearm investigations. The study involved three different types of firearms and 173 volunteers who compared both bullets and cartridge cases. The total number of comparisons reported is 20,130, allocated to assess accuracy (8,640), repeatability (5,700), and reproducibility (5,790) of the evaluations made by participating examiners. The overall false positive error rate was estimated as 0.656% and 0.933% for bullets and cartridge cases, respectively, while the rate of false negatives was estimated as 2.87% and 1.87% for bullets and cartridge cases, respectively. Because chi-square tests of independence strongly suggest that error probabilities are not the same for each examiner, these are maximum likelihood estimates based on the beta-binomial probability model and do not depend on an assumption of equal examiner-specific error rates. Corresponding 95% confidence intervals are (0.305%,1.42%) and (0.548%,1.57%) for false positives for bullets and cartridge cases, respectively, and (1.89%,4.26%) and (1.16%,2.99%) for false negatives for bullets and cartridge cases, respectively. These results are based on data representing all controlled conditions considered, including different firearm manufacturers, sequence of manufacture, and firing separation between unknown and known comparison specimens. The results are consistent with those of prior studies, despite its more robust design and challenging specimens.

연구 동기 및 목표

• 통제된 조건에서 법의학 총탄 전문가들이 총탄과 탄피를 비교할 때의 정확도를 평가하기 위해.
• 다양한 전문가와 시료를 포함한 대규모 표본에서 잘못된 양성 및 잘못된 음성 비율을 정량화하기 위해.
• 개별 전문가 간 오차 확률이 유의미하게 다름을 평가하여, 동일한 오차율을 가정하는 것의 타당성을 도전하기 위해.
• 전문가별 변동성을 고려한 베타이항분포 모델을 사용하여 오차율에 대한 신뢰구간 기반의 통계적 강건한 추정치를 제공하기 위해.
• 법의학 과학 기준을 지원하고 법적 맥락에서 총탄 비교 증언의 신뢰성을 향상시키기 위해 실증적 데이터를 기여하기 위해.

제안 방법

• 173명의 법의학 전문가가 8,640개의 총탄 쌍과 5,700개의 탄피 쌍을 비교하는 대규모이고 통제된 실험을 수행하였다.
• 전문가 간 오차율의 변동성을 고려하기 위해, 동일한 오차율을 가정하지 않는 오차율 추정을 위해 베타이항확률 모델을 사용하였다.
• 실제 세계의 변동성을 시뮬레이션하기 위해 다양한 총기 유형, 제조 시퀀스, 발사 간격을 포함하여 자료를 수집하였다.
• 전문가 간 오차 확률의 차이를 탐지하기 위해 카이제곱 독립성 검정을 적용하여 오차율이 균일하지 않음을 확인하였다.
• 최대우도추정법을 사용하여 오차율에 대한 95% 신뢰구간을 계산하여 통계적 강건성을 확보하였다.
• 총 20,130회의 비교 자료를 분석하였으며, 이 중 8,640건은 정확도를, 5,700건은 재현성을, 5,790건은 재현성에 대한 분석을 포함하였다.

실험 결과

연구 질문

• RQ1 총탄과 탄피를 비교할 때 법의학 총탄 전문가들의 전체 잘못된 양성 오차율은 얼마인가요?
• RQ2 법의학 총탄 비교에서 총탄과 탄피의 잘못된 음성 오차율은 어떻게 비교되나요?
• RQ3 오차 확률은 개별 전문가 간에 유의미하게 다릅니까, 아니면 균일하다고 가정할 수 있나요?
• RQ4 전문가별 변동성을 고려한 잘못된 양성 및 잘못된 음성 오차율에 대한 95% 신뢰구간은 무엇인가요?
• RQ5 이 연구는 더 철저한 설계와 도전적인 시료 세트를 바탕으로 하여 이전 연구와 어떻게 비교될 수 있나요?

주요 결과

• 총탄에 대한 잘못된 양성 오차율은 0.656%로 추정되었으며, 95% 신뢰구간은 (0.305%, 1.42%)였다.
• 탄피에 대한 잘못된 양성 오차율은 0.933%였으며, 95% 신뢰구간은 (0.548%, 1.57%)였다.
• 잘못된 음성 오차율은 총탄에 대해 2.87%, 탄피에 대해 1.87%였으며, 각각 95% 신뢰구간은 (1.89%, 4.26%) 및 (1.16%, 2.99%)였다.
• 카이제곱 독립성 검정 결과, 전문가 간 오차 확률이 균일하지 않음을 확인하여, 베타이항분포 모델의 사용이 정당화됨을 나타냈다.
• 이 연구의 결과는 이전 연구와 일치하지만, 더 강력한 실험 설계와 도전적인 시료 세트를 기반으로 함을 보여주었다.
• 연구 결과는 법의학 총탄 비교에서 평균 오차율을 가정하는 대신 전문가별 오차율 추정이 필요하다는 것을 뒷받침한다.