[论文解读] Dice in the Black Box: User Experiences with an Inscrutable Algorithm

Aaron Springer, Victoria Hollis+1 more|arXiv (Cornell University)|Dec 7, 2018

Ethics and Social Impacts of AI被引用 26

一句话总结

本研究通过部署一个随机响应用户输入的虚假情绪分析工具，调查用户如何对黑箱算法产生错误的信任。尽管该系统完全随机，参与者仍频繁将其视为具备智能与可靠性，揭示了当系统在缺乏透明度的情况下模仿智能时，人机交互中存在重大风险，呼吁通过设计干预纠正过度信任。

ABSTRACT

We demonstrate that users may be prone to place an inordinate amount of trust in black box algorithms that are framed as intelligent. We deploy an algorithm that purportedly assesses the positivity and negativity of a users' writing emotional writing. In actuality, the algorithm responds in a random fashion. We qualitatively examine the paths to trust that users followed while testing the system. In light of the ease with which users may trust systems exhibiting "intelligent behavior" we recommend corrective approaches.

研究动机与目标

• 检验用户如何在看似智能但实际难以理解的算法系统中形成信任。
• 探究即使系统未提供实际智能，用户在黑箱AI中产生过度信任的心理机制。
• 识别用户在与模拟智能但输出随机的系统互动时的行为与推理模式。
• 通过理解错误自信的根源，为现实世界AI应用中减轻过度信任提供设计实践指导。

提出的方法

• 部署了一个虚假情绪分析算法，随机为用户输入的文本分配积极/消极评分。
• 让用户相信该系统是能够检测写作情感基调的复杂AI。
• 通过书面反思和行为日志对用户互动进行定性分析，追踪信任的形成过程。
• 系统被故意设计为非功能性，以暴露用户在随机输出下多轻易将智能归因于系统。
• 通过受控互动会话收集用户经验，并分析其推理与智能归因中的模式。
• 研究采用欺骗范式，隔离感知智能对用户信任的影响，独立于实际算法性能。

实验结果

研究问题

• RQ1 用户如何为其信任一个无一致或准确响应的系统进行辩护？
• RQ2 哪些线索导致用户将随机系统视为智能或可靠？
• RQ3 用户如何为系统行为中的差异或不一致性进行合理化解释？
• RQ4 用户在多大程度上将非功能性系统视为具备自主性或智能？
• RQ5 在难以理解的算法中形成信任的心理或认知机制是什么？

主要发现

• 尽管系统响应完全随机，用户仍频繁将其视为具备智能与一致性，表明其存在强烈的将算法输出人格化的倾向。
• 参与者常将随机结果解释为有意义，构建叙事以解释系统对自身情绪状态的“洞察”。
• 即使系统未能提供连贯或相关的反馈，用户仍持续信任它，表明对感知智能系统的不信任阈值极高。
• 智能感知常基于表面线索，如响应速度、格式排版或技术语言的使用。
• 用户表现出愿意接受系统输出为有效，即使其与自身自我评估或预期相矛盾。
• 研究揭示，AI信任并非取决于准确性，而取决于智能的表象，凸显了在现实世界AI部署中存在重大风险。