[논문 리뷰] Effectiveness of the GT200 Molecular Detector: A Double-Blind Test

W. Luis Mochán, A. Ramı́rez-Solı́s|arXiv (Cornell University)|2013. 01. 17.

Misinformation and Its Impacts인용 수 3

한 줄 요약

이 双盲 연구는 마약 및 폭발물의 원거리 물질 식별기로 홍보되는 GT200 분자 검출기의 성능을 시험하기 위해 8개의 동일한 상자 중 하나에 암페타민 정제와 총알을 숨긴 실험을 수행하였다. 장치는 20회의 시험 중 17회에서 실패했으며, 결과는 랜덤 확률과 통계적으로 구별되지 않았다(p = 1/8), 이는 장치가 효과가 없고 사용자 기대에 의해 조작될 가능성이 있음을 명백히 증명한다.

ABSTRACT

The GT200 is a device that has been extensively used by the Mexican armed forces to remotely detect and identify substances such as drugs and explosives. A double blind experiment has been performed to test its effectivity. In seventeen out of twenty attempts, the GT200 failed in the hands of certified operators to find more than 1600 amphetamine pills and four bullets hidden in a randomly chosen cardboard box out of eight identical boxes distributed within a 90m$ imes$20m ballroom. This result is compatible with the 1/8 probability expected for a completely ineffectual device, and is incompatible with even a moderately effective working one.

연구 동기 및 목표

• 통제된 조건에서 GT200 분자 검출기가 마약 및 폭발물을 원거리에서 탐지할 수 있다는 주장의 정확성을 철저히 검증하기 위해.
• 운영자가 타겟 위치를 모를 때 장치가 랜덤 확률을 초월해 성능을 보이는지 평가하기 위해.
• 경찰 및 사법 절차에서 GT200를 사용하는 데 대한 과학적 증거를 제공하기 위해.
• 장치의 잘못된 양성 결과로 인한 인간권 침해 우려를 해결하기 위해.
• 멕시코 senado 및 인권 기구에서 요구한 GT200에 대한 독립적 과학적 검증에 응답하기 위해.

제안 방법

• 멕시코 과학아카데미에서 90m × 20m의 볼룸을 활용해 이중맹검 실험을 수행하였으며, 8개의 동일한 종이 상자를 사용하였다.
• 8개의 상자 중 무작위로 선택된 하나의 상자 안에 1600정의 암페타민 정제와 4발의 총알을 숨겼으며, 이는 GT200 운영자들에게도 알려지지 않았다.
• 공인된 군대 운영자들이 GT200를 사용하도록 훈련받았으며, 이들은 숨겨진 물질의 위치를 모른 채로 실험에 참여하였다.
• 장치를 사용해 20회의 독립적 시험을 실시하고, 각 운영자의 탐지 신고를 기록하였다.
• 이항 확률 분포를 사용해 랜덤 확률(p = 1/8)과 중간 수준의 성능(p = 0.5 또는 0.8)과의 성능을 비교 분석하였다.
• 랜덤 응답을 시뮬레이션하기 위해 운영자들이 동전을 뒤집는 제어 조건을 포함하였으며, 이 조건에서는 GT200보다 성능이 열 劣하였다.

실험 결과

연구 질문

• RQ1 이중맹검 환경에서 GT200는 랜덤 확률을 크게 초월해 숨겨진 마약 및 폭발물을 정확하게 탐지할 수 있는가?
• RQ2 장치의 성능은 완전히 무용한 기기로서 랜덤 작동 방식과 일치하는가?
• RQ3 GT200의 결과는 실제 탐지 능력이 아닌 운영자 편향 또는 잠재적 신호에 의한 것일 수 있는가?
• RQ4 관측된 탐지율(3/20)이 장치가 실제로 효과가 있다고 가정할 경우 발생할 가능성은 얼마인가?
• RQ5 운영자가 타겟 위치를 알고 있을 때와 모를 때 장치의 성능이 달라지는가?

주요 결과

• GT200는 20회의 시험 중 단 3회만 탐지에 성공하였으며, 이는 랜덤 확률(p = 1/8)과 통계적으로 구별되지 않았다. 완전한 무용성의 가능성은 0.95로 매우 높았다.
• 중간 수준의 성능 장치(p = 0.5)에서 3회의 탐지 성공 확률은 뿐이며, p = 0.8일 경우 이보다 더 낮은 확률(10−9 이하)이므로 이러한 성능 수준은 매우 부도덕하다.
• 장치의 성능은 이항분포 분석과 가능성 함수를 통해 완전히 랜덤 선택 과정과 일치함을 확인하였다.
• 심지어 동전 뒤집기 제어 조건에서도 결과가 더 열 劣했으며(1/20회 탐지), 이는 GT200의 성능가 랜덤 확률보다 열 劣하지 않음을 시사한다.
• 운영자가 타겟 위치를 알고 있을 경우 GT200는 정확하게 타겟을 식별했으며, 이는 성능이 탐지 능력이 아닌 사용자 지식에 의존함을 의미한다.
• 연구는 GT200가 근본적으로 무용하며 사용자 기대에 의해 조작될 가능성이 높다고 결론 내리며, 이는 과학적이고 법적으로 타당하지 않음을 입증한다.