[论文解读] Effectiveness of the GT200 Molecular Detector: A Double-Blind Test

W. Luis Mochán, A. Ramı́rez-Solı́s|arXiv (Cornell University)|Jan 17, 2013

Misinformation and Its Impacts被引用 3

一句话总结

这项双盲研究测试了名为GT200的分子探测器，该设备被宣传为可远程识别毒品和爆炸物。研究将安非他明药片和子弹隐藏在八个完全相同的盒子中的一个里。在20次试验中，该设备失败了17次，其结果与随机猜测无统计学差异（p = 1/8），明确证明该设备无效，且很可能受用户期望的影响而被操纵。

ABSTRACT

The GT200 is a device that has been extensively used by the Mexican armed forces to remotely detect and identify substances such as drugs and explosives. A double blind experiment has been performed to test its effectivity. In seventeen out of twenty attempts, the GT200 failed in the hands of certified operators to find more than 1600 amphetamine pills and four bullets hidden in a randomly chosen cardboard box out of eight identical boxes distributed within a 90m$ imes$20m ballroom. This result is compatible with the 1/8 probability expected for a completely ineffectual device, and is incompatible with even a moderately effective working one.

研究动机与目标

• 在受控条件下严格测试GT200分子探测器声称的远程检测毒品和爆炸物的能力。
• 评估当操作员不知晓目标位置时，该设备是否表现优于随机猜测。
• 提供科学证据，以挑战GT200在执法和司法程序中的使用。
• 回应与该设备导致的假阳性结果相关的日益增长的人权侵犯担忧。
• 回应墨西哥参议院及人权机构要求对GT200进行独立科学验证的呼吁。

提出的方法

• 在墨西哥科学院的90米×20米宴会厅内开展双盲实验，使用八个完全相同的纸板箱。
• 将1600粒安非他明药片和四颗子弹随机隐藏在八个箱子中的一个内，操作员未知真实位置。
• 使用经过认证的军事操作员，他们接受过GT200使用培训，但对隐藏物质位置一无所知。
• 进行20次独立试验，记录每位操作员的检测声明。
• 使用二项分布分析结果，将性能与随机猜测（p = 1/8）和中等效能（p = 0.5或0.8）进行比较。
• 设置对照条件，操作员通过抛硬币模拟随机响应，其表现比GT200更差。

实验结果

研究问题

• RQ1 在双盲环境下，GT200能否以显著高于随机猜测的准确率检测出隐藏的毒品和爆炸物？
• RQ2 该设备的表现是否与完全无效、仅随机运作的仪器一致？
• RQ3 GT200的结果能否由操作员偏见或无意识线索解释，而非实际检测能力？
• RQ4 若该设备真正有效，观察到的检测率（3/20）出现的概率有多大？
• RQ5 当操作员不知晓目标位置时，设备表现是否与已知目标位置时不同？

主要发现

• GT200在20次试验中仅成功检测出3次，该结果与随机猜测无统计学差异（p = 1/8），完全无效的可能性高达0.95。
• 若设备中等有效（p = 0.5），获得3次命中概率仅为0.1%；若p = 0.8，该概率小于10−9，因此这些效能水平极不可能成立。
• 设备表现与随机选择过程完全一致，经二项分布分析和似然函数验证。
• 即使对照组使用抛硬币方式，结果也更差（仅1/20次命中），表明GT200的表现并未劣于随机猜测。
• 当操作员被告知目标位置时，GT200能正确识别目标，表明其表现依赖于用户知识，而非检测能力。
• 研究结论：GT200本质上无效，且很可能受用户期望影响而被操纵，因此在科学和法律层面均不成立为法医学工具。