[论文解读] A Survey on Interactive Reinforcement Learning: Design Principles and Open Challenges

Christian Arzate Cruz, Takeo Igarashi|arXiv (Cornell University)|May 27, 2021

Reinforcement Learning in Robotics参考文献 107被引用 18

一句话总结

本综述通过识别设计原则、反馈整合方法以及用户建模、安全性和评估等开放挑战，为HCI研究人员提供了交互式强化学习（IRL）的技术基础。它提出了在机器人学、人机交互和游戏AI中开发高效、以用户为中心的IRL应用的可操作指南，利用人机协同反馈以提升学习效率和个性化水平。

ABSTRACT

Interactive reinforcement learning (RL) has been successfully used in various applications in different fields, which has also motivated HCI researchers to contribute in this area. In this paper, we survey interactive RL to empower human-computer interaction (HCI) researchers with the technical background in RL needed to design new interaction techniques and propose new applications. We elucidate the roles played by HCI researchers in interactive RL, identifying ideas and promising research directions. Furthermore, we propose generic design principles that will provide researchers with a guide to effectively implement interactive RL applications.

研究动机与目标

• 通过提供强化学习（RL）的必要技术背景，弥合HCI研究人员与交互式强化学习（IRL）之间的差距。
• 识别并阐明HCI研究人员在IRL中可发挥的作用，特别是在设计新型交互技术与应用方面。
• 解决IRL中的关键挑战，包括用户疲劳、缺乏类人“最优解”反馈以及在不同环境间泛化能力差的问题。
• 提出通用且可迁移的设计原则，以实现在真实物理环境与模拟环境中的有效IRL系统构建。
• 突出尚未充分探索的研究方向，如自适应反馈通道、IRL中的可解释AI以及安全学习机制。

提出的方法

• 聚焦2010–2019年间在机器人学、HCI和游戏AI领域中的人机协同应用的IRL研究，开展系统性综述。
• 分析反馈类型（如奖励塑造、示范、偏好反馈）及其在个性化、探索引导和样本效率方面的角色。
• 基于跨领域IRL系统的分析，提炼出强调可用性、适应性与用户参与度的设计原则。
• 评估现有评估实践并识别其不足，如过度依赖GridWorld等简单测试平台，缺乏快速、可视化的反馈评估工具。
• 提出需要建立正式的用户模型以预测用户行为，减少疲劳，实现主动且自适应的交互。
• 倡导整合安全强化学习技术与可解释AI，以确保智能体透明性、偏差检测以及在高风险应用场景中的用户信任。

实验结果

研究问题

• RQ1 HCI研究人员如何通过新型交互技术与应用有效参与交互式强化学习？
• RQ2 在IRL中，哪些反馈类型最为有效？它们如何影响学习效率、个性化水平与探索能力？
• RQ3 为何IRL系统往往难以从简单测试平台（如GridWorld）泛化到复杂环境（如Infinite Mario）？
• RQ4 如何通过用户建模与自适应交互设计减轻用户疲劳，提升IRL系统中的反馈质量？
• RQ5 可解释AI与安全强化学习技术在实现可信且可靠的协作式人机交互中发挥何种作用？

主要发现

• 尽管在复杂任务中具有提升个性化与样本效率的潜力，交互式RL在HCI社区中仍被严重低估。
• 用户反馈类型（如奖励塑造、示范、偏好信号）可显著提升学习效果，但其有效性因环境与用户专业水平而异。
• 模拟的“最优解”反馈常无法真实再现人类反馈行为，导致性能预测产生误导，凸显了以用户为中心评估的必要性。
• 从简单环境向复杂环境泛化IRL方法仍是重大挑战，如RS（奖励塑造）在Infinite Mario等复杂游戏中表现失败。
• 目前尚缺乏正式的用户模型，限制了在长期IRL应用中主动管理用户交互频率与减轻疲劳的能力。
• 可解释IRL与快速评估技术（如行为与不确定性可视化）尚未充分发展，但对提升反馈质量与调试智能体行为至关重要。