[论文解读] "I had a solid theory before but it's falling apart": Polarizing Effects of Algorithmic Transparency

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|Nov 6, 2018

Ethics and Social Impacts of AI被引用 4

一句话总结

本文研究了算法透明度如何影响用户对AI系统的信任，揭示了一个悖论：透明度会加剧用户认知的两极分化——根据用户是否已对系统形成心理模型，透明度可能提升或削弱信任。研究发现，已有既有理论的用户在看到透明度后更关注系统缺陷，从而降低信任；而缺乏此类心理模型的用户则因透明度带来的清晰度而受益。

ABSTRACT

The rise of machine learning has brought closer scrutiny to intelligent systems, leading to calls for greater transparency and explainable algorithms. We explore the effects of transparency on user perceptions of a working intelligent system for emotion detection. In exploratory Study 1, we observed paradoxical effects of transparency which improves perceptions of system accuracy for some participants while reducing accuracy perceptions for others. In Study 2, we test this observation using mixed methods, showing that the apparent transparency paradox can be explained by a mismatch between participant expectations and system predictions. We qualitatively examine this process, indicating that transparency can undermine user confidence by causing users to fixate on flaws when they already have a model of system operation. In contrast transparency helps if users lack such a model. Finally, we revisit the notion of transparency and suggest design considerations for building safe and successful machine learning systems based on our insights.

研究动机与目标

• 检验算法透明度对用户感知AI系统准确性所产生的心理影响。
• 探究为何透明度有时提升、有时损害用户对机器学习系统的信任。
• 识别用户既有心理模型在塑造其对系统解释的反应中的作用。
• 探索透明度在何种条件下增强或削弱用户对智能系统的信心。
• 基于用户认知与预期，提出可信且高效的机器学习系统设计原则。

提出的方法

• 开展探索性研究1，观察用户在情感识别系统中对透明度的反应。
• 在研究2中采用混合方法，结合定性访谈与定量感知评估。
• 分析用户对系统预测与自身预期之间不匹配的反应，作为感知变化的主要驱动力。
• 使用定性编码分析用户如何解读和回应透明度，尤其关注其对缺陷的过度关注。
• 对比具有与不具有系统运行既有心理模型的用户行为差异。
• 从认知视角重新审视透明度概念，强调用户心理模型作为关键变量。

实验结果

研究问题

• RQ1 向用户披露AI系统决策过程的透明度，如何影响其对系统准确性的感知？
• RQ2 为何在提供更多信息的情况下，透明度有时仍会降低用户信任？
• RQ3 用户对系统行为的既有心理模型在塑造其对透明度的反应中起到何种作用？
• RQ4 在何种条件下，透明度会提升用户信心，反之则削弱其信心？
• RQ5 如何设计透明度，以最小化其两极分化效应并增强机器学习系统的信任？

主要发现

• 透明度导致悖论性结果：部分用户认为系统更准确，而另一些用户则认为其更不准确。
• 已有系统心理模型的用户在看到透明度后更可能关注系统缺陷，从而降低信任。
• 缺乏既有心理模型的用户从透明度中受益，因其有助于形成更清晰的预期并提升信心。
• 用户预期与系统预测之间的不匹配是导致对透明度产生负面反应的主要原因。
• 当用户一旦注意到不一致或局限性并过度关注时，透明度可能损害其信心。
• 本研究表明，透明度并非普遍有益，必须根据用户的认知状态和心理模型进行定制化设计。