[论文解读] Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
本文提出了一种用于深度强化学习（DRL）驱动自主系统的可解释人工智能（XAI）框架，通过三种解释方式增强用户信任：视觉状态性能（价值估计误差）、泛化能力（与最近训练样本的距离）以及叙事性解释。用户研究显示，XAI界面使用户接受度显著提高（p = 0.03），尽管信任提升幅度较小且并非始终具有统计显著性。
We consider the problem of providing users of deep Reinforcement Learning (RL) based systems with a better understanding of when their output can be trusted. We offer an explainable artificial intelligence (XAI) framework that provides a three-fold explanation: a graphical depiction of the systems generalization and performance in the current game state, how well the agent would play in semantically similar environments, and a narrative explanation of what the graphical information implies. We created a user-interface for our XAI framework and evaluated its efficacy via a human-user experiment. The results demonstrate a statistically significant increase in user trust and acceptance of the AI system with explanation, versus the AI system without explanation.
研究动机与目标
- 为解决由于决策过程不透明而导致用户对黑箱深度强化学习（DRL）智能体缺乏信任的问题。
- 开发一种XAI框架，解释DRL智能体的当前性能与泛化能力。
- 评估此类解释是否能提升在自主系统中用户对智能体的信任与接受度。
- 探究在提供可解释性洞察时，用户是否能形成更准确的智能体心理模型。
提出的方法
- 该框架使用价值估计误差（VEE）量化DRL智能体状态价值预测的准确性。
- 通过计算与最近训练样本的距离（DNTS）评估当前环境与训练数据的相似程度。
- 图形化界面在游戏过程中实时可视化VEE与DNTS指标。
- 叙事性解释对可视化指标进行解读，以帮助用户理解智能体的可靠性。
- 通过人 Subject 实验评估系统，比较在DRL智能体配备与不配备XAI界面时的表现。
- 使用五级李克特量表调查问卷测量用户信任、可用性与预测准确性。
实验结果
研究问题
- RQ1提供关于DRL智能体性能与泛化能力的解释是否能提升用户对系统的信任？
- RQ2当用户获得关于智能体决策过程的视觉与叙事性解释时，是否能更准确地预测其行为？
- RQ3XAI界面如何影响用户对智能体可靠性与一致性的感知？
- RQ4与非解释性界面相比，XAI框架在多大程度上提升了用户接受度？
- RQ5解释是否能帮助用户形成更准确的智能体能力心理模型？
主要发现
- XAI界面导致用户接受度显著提高（p = 0.03），平均得分为4.02，而无解释条件下的平均得分为2.67。
- XAI界面下的信任得分（3.32）高于无解释条件（2.6），但差异未达统计显著性（p = 0.058）。
- 用户可用性与有用性得分平均为4.01，超过中性量表值3，表明感知效用较强。
- 解释满意度平均为3.53，同样高于中性阈值，表明用户认为解释具有意义。
- 解释并未显著提升预测准确性，表明用户未形成对智能体的更优心理模型。
- 结果表明，尽管解释提升了接受度，但其对信任与预测理解的影响在程度上有限。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。