[论文解读] Here's What I've Learned: Asking Questions that Reveal Reward Learning

Soheil Habibian, Ananth Jonnavittula+1 more|arXiv (Cornell University)|Jul 2, 2021

Reinforcement Learning in Robotics参考文献 48被引用 4

一句话总结

本文提出了一种用于人机交互中主动偏好学习的双目标框架，其中机器人在提出信息性问题（以高效学习）与揭示性问题（以透明地向人类传达其知识）之间取得平衡。通过建模人类对机器人问题的感知，该方法使机器人能够以与最先进方法相当的速度学习，同时使其学习进展清晰可见，从而加快人类的信任建立和部署决策。

ABSTRACT

Robots can learn from humans by asking questions. In these questions the robot demonstrates a few different behaviors and asks the human for their favorite. But how should robots choose which questions to ask? Today's robots optimize for informative questions that actively probe the human's preferences as efficiently as possible. But while informative questions make sense from the robot's perspective, human onlookers often find them arbitrary and misleading. In this paper we formalize active preference-based learning from the human's perspective. We hypothesize that -- from the human's point-of-view -- the robot's questions reveal what the robot has and has not learned. Our insight enables robots to use questions to make their learning process transparent to the human operator. We develop and test a model that robots can leverage to relate the questions they ask to the information these questions reveal. We then introduce a trade-off between informative and revealing questions that considers both human and robot perspectives: a robot that optimizes for this trade-off actively gathers information from the human while simultaneously keeping the human up to date with what it has learned. We evaluate our approach across simulations, online surveys, and in-person user studies. Videos of our user studies and results are available here: https://youtu.be/tC6y_jHN7Vw.

研究动机与目标

• 解决人机交互中信息性机器人问题可能误导用户对机器人知识状态认知的空白。
• 形式化机器人问题如何向人类观察者揭示其当前理解的信息。
• 开发一种方法，平衡以机器人为中心的信息增益与以人为中心的透明度，应用于主动学习。
• 评估揭示性问题是否能改善人类对机器人能力与部署准备度的认知。
• 使机器人能够明确传达其学习进展，从而增强人机协作中的信任与可解释性。

提出的方法

• 形式化一个认知人类模型，将机器人问题映射到感知到的知识状态，捕捉人类如何从问题中推断机器人所知内容。
• 引入连续的权衡机制，兼顾‘信息性’（最大化机器人信息增益）与‘揭示性’（最大化对人类的透明度）目标。
• 采用概率奖励学习框架，机器人在其对人类奖励函数的信念上进行维护，并选择能优化双重目标的问题。
• 设计问题对，强调已知行为（如正确堆叠），同时改变不确定方面（如携带高度），以使机器人的不确定性可见。
• 在模拟环境、在线调查和面对面用户研究中实现并评估该方法，任务为盘子堆叠。
• 利用人类反馈校准模型，并验证参与者能否准确从问题中推断出机器人的知识状态。

实验结果

研究问题

• RQ1 在主动学习过程中，机器人问题在多大程度上影响人类对机器人知识状态的感知？
• RQ2 能否设计出一种机器人问题选择策略，同时最大化信息增益与对人类的透明度？
• RQ3 通过问题设计使机器人学习过程可见，是否能提升人类对机器人的信任与部署决策？
• RQ4 信息性与揭示性问题之间的权衡如何影响学习速度与人类可解释性？
• RQ5 人类在多大程度上能仅凭机器人提出的问题准确推断其掌握的知识？

主要发现

• 采用所提信息性+揭示性权衡策略的机器人，其学习速度与最先进的仅信息性基线方法相当，未造成显著学习速度损失。
• 用户研究中，参与者仅凭机器人提出的问题，即可正确识别其已知与未知内容，验证了模型的可解释性。
• 在‘是否可部署’评估中，采用揭示性方法的参与者在约六轮问题后即决定部署机器人；而在纯信息性条件下，由于对机器人知识状态的不确定性，参与者从未选择部署。
• ‘信息性’条件导致参与者认为问题具有任意性且具有误导性，降低了信任度并延迟了部署决策。
• ‘揭示性’条件使参与者能够识别出机器人何时已掌握正确行为，特别是通过观察问题对中一致的正确动作（如堆叠）来判断。
• 在线调查结果证实，当问题能揭示学习进展时，参与者认为机器人问题更具透明度与可解释性，即使任务的多个方面被改变。