[论文解读] Progressive Disclosure: Designing for Effective Transparency

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|Nov 6, 2018

Ethics and Social Impacts of AI参考文献 72被引用 9

一句话总结

本文提出渐进式披露作为一种以用户为中心的智能系统透明度方法，通过逐步揭示信息来减轻认知负荷。通过两项实证研究发现，尽管用户最初偏好渐进式反馈，但他们常认为这种反馈具有干扰性，且效果不如简化、早期的透明化方式，从而提出了新的设计原则，强调在初始系统交互阶段优先考虑用户启发式方法和错误隐藏。

ABSTRACT

As we increasingly delegate important decisions to intelligent systems, it is essential that users understand how algorithmic decisions are made. Prior work has often taken a technocentric approach to transparency. In contrast, we explore empirical user-centric methods to better understand user reactions to transparent systems. We assess user reactions to global and incremental feedback in two studies. In Study 1, users anticipated that the more transparent incremental system would perform better, but retracted this evaluation after experience with the system. Qualitative data suggest this may arise because incremental feedback is distracting and undermines simple heuristics users form about system operation. Study 2 explored these effects in depth, suggesting that users may benefit from initially simplified feedback that hides potential system errors and assists users in building working heuristics about system operation. We use these findings to motivate new progressive disclosure principles for transparency in intelligent systems.

研究动机与目标

• 调查用户在智能系统中对不同透明度机制的反应，特别关注渐进式反馈与全局反馈的对比。
• 理解用户为何在感知到透明系统具有优势的情况下仍可能拒绝使用，尤其是在反馈逐步揭示时。
• 识别支持有效透明度的设计原则，使系统反馈与用户的心理模型和启发式方法保持一致。
• 探索在早期交互阶段隐藏系统错误，如何帮助用户建立关于系统行为的稳定工作假设。

提出的方法

• 在两种不同的透明度条件下，对参与者与智能系统交互进行了两项用户研究：全局反馈（所有信息一次性呈现）与渐进式反馈（信息分步逐步揭示）。
• 收集了定量与定性数据，包括用户性能指标、偏好评分以及关于系统可用性和信任度的开放式反馈。
• 分析用户行为与反馈，识别透明度如何影响决策、感知系统可靠性及心理模型形成模式。
• 采用主题分析法解读定性反馈，重点关注用户对干扰性、清晰度及对系统决策信心的感知。
• 基于实证发现，提出了一套渐进式披露原则，强调信息呈现的时间与顺序。
• 提出一种设计框架，将复杂或与错误相关的信息反馈延迟至用户已形成初始工作启发式之后再呈现。

实验结果

研究问题

• RQ1 用户对智能系统中渐进式透明度的预期与实际体验有何差异？
• RQ2 为何用户在最初偏好渐进式反馈的情况下，仍报告对其满意度下降？
• RQ3 渐进式披露在多大程度上影响用户对系统行为形成准确心理模型的能力？
• RQ4 错误披露的时间点如何影响用户信任度与系统可用性？
• RQ5 哪些设计策略可在不使用户信息过载的前提下提升透明度？

主要发现

• 用户最初预期渐进式反馈系统表现更优，但实际交互后更偏好全局反馈系统，表明预期与实际体验之间存在错配。
• 渐进式反馈被用户视为具有干扰性，影响其建立系统运行简单启发式方法的能力。
• 用户从简化、早期阶段的反馈中受益，该反馈隐藏了系统错误，使其能在接触复杂性之前建立稳定的心理模型。
• 频繁且细粒度的反馈即使在技术上准确，也降低了用户对系统可靠性的感知，并增加了认知负荷。
• 当透明度被延迟并以支持启发式发展的结构化方式呈现时，用户报告了更高的信心和更好的性能表现。
• 研究结果支持从技术中心透明度向以用户为中心的披露策略转变，优先考虑认知简便性与心理模型的形成。