[论文解读] Assessing Human Interaction in Virtual Reality With Continually Learning Prediction Agents Based on Reinforcement Learning Algorithms: A Pilot Study

Dylan J. A. Brenneis, Adam S. Parker+8 more|arXiv (Cornell University)|Dec 14, 2021

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本试点研究调查了人类在虚拟现实时间预测任务中与持续学习的强化学习智能体协作时，信任与互动的演变过程。研究对比了两种智能体架构——基于阈值的和基于分箱的——发现早期互动显著影响人类信任，其中基于阈值的智能体虽准确率较低，但促进了更具策略性的行为，表明表征设计对人机信任动态具有关键影响。

ABSTRACT

Artificial intelligence systems increasingly involve continual learning to enable flexibility in general situations that are not encountered during system training. Human interaction with autonomous systems is broadly studied, but research has hitherto under-explored interactions that occur while the system is actively learning, and can noticeably change its behaviour in minutes. In this pilot study, we investigate how the interaction between a human and a continually learning prediction agent develops as the agent develops competency. Additionally, we compare two different agent architectures to assess how representational choices in agent design affect the human-agent interaction. We develop a virtual reality environment and a time-based prediction task wherein learned predictions from a reinforcement learning (RL) algorithm augment human predictions. We assess how a participant's performance and behaviour in this task differs across agent types, using both quantitative and qualitative analyses. Our findings suggest that human trust of the system may be influenced by early interactions with the agent, and that trust in turn affects strategic behaviour, but limitations of the pilot study rule out any conclusive statement. We identify trust as a key feature of interaction to focus on when considering RL-based technologies, and make several recommendations for modification to this study in preparation for a larger-scale investigation. A video summary of this paper can be found at https://youtu.be/oVYJdnBqTwQ .

研究动机与目标

• 调查强化学习智能体在实时持续学习过程中，人机互动如何随时间演变。
• 比较两种不同智能体架构——基于阈值的和基于分箱的——对人类信任与策略性行为的影响。
• 探索早期互动在塑造人类对学习型智能体长期信任中的作用。
• 识别影响人类在动态实时任务中感知与合作的关键设计因素。

提出的方法

• 开发了一个用于时间预测任务的虚拟现实环境，参与者与强化学习智能体协作，以预测随机刺激。
• 使用通用价值函数实现两种强化学习智能体：一种采用基于阈值的表征，另一种采用基于分箱的特征离散化。
• 训练智能体实时预测脉冲刺激的出现时间，在人类互动过程中持续更新其策略。
• 收集定量性能指标（预测准确率、时间精度）和定性行为数据（策略转变、信任指标）。
• 分析人类行为与信任随时间的变化，特别关注早期互动阶段。
• 使用一名专家参与者探索互动动态，建议未来研究采用新手参与者并引入直接的信任测量方法。

实验结果

研究问题

• RQ1 在实时互动中，人类对持续学习智能体的信任如何演变？
• RQ2 智能体的表征设计（基于阈值 vs. 基于分箱）对人类策略性行为和感知可靠性有何影响？
• RQ3 与学习型智能体的早期互动在多大程度上塑造了长期的人类信任与合作？
• RQ4 智能体的学习进展在多大程度上影响了人类的认知卸载与任务表现？
• RQ5 表征选择在人机沟通与相互理解的发展中起到何种作用？

主要发现

• 尽管基于分箱的智能体（BC）准确率更高，但基于阈值的智能体（TCT）促进了更高的信任水平和更丰富的策略性行为。
• 早期互动被证实对塑造人类信任至关重要，信任水平在短时间内建立并持续贯穿整个会话。
• TCT智能体学习速度更快且信号更直观，因此即使性能略逊于BC智能体，仍被感知为更可靠的伙伴。
• BC智能体的更细粒度特征分箱带来了更高的后期准确率，但其较慢的学习曲线抑制了早期信任的形成。
• 参与者在与TCT智能体协作时表现出认知卸载，表明其被视为时间管理任务中更可靠的协作伙伴。
• 本研究强调，即使性能差异微小，强化学习智能体的表征设计也显著影响人类信任与互动质量。