[论文解读] Maximal benefits and possible detrimental effects of binary decision aids

Joachim Meyer, James K. Kuchar|arXiv (Cornell University)|Oct 2, 2020

Human-Automation Interaction and Safety参考文献 27被引用 8

一句话总结

本文利用信号检测理论分析了二元决策辅助（如警报）在信号检测任务中的性能权衡。研究发现，将人工操作员与决策辅助结合通常带来的性能提升有限，且对辅助信息的非最优加权可能降低检测性能——在某些情况下，仅由人工操作的系统反而优于结合系统。

ABSTRACT

Binary decision aids, such as alerts, are a simple and widely used form of automation. The formal analysis of a user's task performance with an aid sees the process as the combination of information from two detectors who both receive input about an event and evaluate it. The user's decisions are based on the output of the aid and on the information, the user obtains independently. We present a simple method for computing the maximal benefits a user can derive from a binary aid as a function of the user's and the aid's sensitivities. Combining the user and the aid often adds little to the performance the better detector could achieve alone. Also, if users assign non-optimal weights to the aid, performance may drop dramatically. Thus, the introduction of a valid aid can actually lower detection performance, compared to a more sensitive user working alone. Similarly, adding a user to a system with high sensitivity may lower its performance. System designers need to consider the potential adverse effects of introducing users or aids into systems.

研究动机与目标

• 评估将人工操作员与二元决策辅助结合所能获得的最大性能增益。
• 识别引入辅助可能导致检测性能下降的条件。
• 研究人工对辅助信息非最优加权如何影响系统层面的检测结果。
• 提供一种计算框架，基于个体敏感度估计结合后的检测性能。

提出的方法

• 使用正态分布建模信号和噪声检测的信号检测理论（SDT）。
• 采用 d' 指标量化人工和辅助系统对信号的敏感度。
• 运用似然比 β 确定最优决策阈值，并进行受试者工作特征（ROC）曲线分析。
• 利用收益比率和 β* 公式推导辅助信息与独立信息的最优加权。
• 在最优与非最优人工加权条件下计算结合后的检测性能。
• 通过实证测试人类对不同有效性和敏感度警报的响应模式。

实验结果

研究问题

• RQ1 在何种条件下，二元决策辅助与人工操作员结合可实现最大的检测性能？
• RQ2 人工对辅助信息的非最优加权如何影响整体检测性能？
• RQ3 与人工单独操作相比，引入决策辅助是否会降低检测性能？
• RQ4 人工与辅助信息之间的相关性如何影响结合后的潜在收益？
• RQ5 用户在多大程度上根据规范模型调整其对警报有效性的响应？

主要发现

• 将人工与辅助系统结合所能获得的最大收益通常较小，尤其是在其中一方显著比另一方更敏感时。
• 当人工对辅助信息赋予非最优权重时，检测性能可能低于更敏感一方单独工作时的性能。
• 用户往往过度依赖低有效性辅助，而低估高有效性辅助，导致系统性能次优。
• 在极端情况下，依赖无效辅助可能导致响应与现实世界状态完全无关。
• 即使辅助系统非常敏感，若人工因过度自信而忽略其建议，性能也可能无法提升。
• 辅助系统的优势不仅限于信号检测——例如可提升情境意识——但这些优势必须经过专门设计和验证。