[论文解读] APReL: A Library for Active Preference-based Reward Learning Algorithms

Erdem Bıyık, Aditi Talati+1 more|arXiv (Cornell University)|Aug 16, 2021

Logic, Reasoning, and Knowledge被引用 5

一句话总结

APReL 是一个模块化的 Python 库，使研究人员能够实现、实验并扩展用于人机交互的主动偏好奖励学习算法。它在兼容 OpenAI Gym 的环境中支持多种查询类型、用户模型、信念分布和获取函数，包括批量和多样性感知的查询优化，显著降低了开发数据高效奖励学习系统的技术门槛。

ABSTRACT

Reward learning is a fundamental problem in human-robot interaction to have robots that operate in alignment with what their human user wants. Many preference-based learning algorithms and active querying techniques have been proposed as a solution to this problem. In this paper, we present APReL, a library for active preference-based reward learning algorithms, which enable researchers and practitioners to experiment with the existing techniques and easily develop their own algorithms for various modules of the problem. APReL is available at https://github.com/Stanford-ILIAD/APReL.

研究动机与目标

• 为解决奖励学习中的数据效率低下问题，通过启用主动查询策略，最大化每次人类反馈的信息量。
• 将多种主动偏好学习技术（如成对比较、K选最佳查询和批量选择）统一到一个可扩展的软件框架中。
• 在标准强化学习环境中支持多种人类反馈模式，包括比较、排序和示范。
• 降低研究人员实现和基准测试新型获取函数与查询优化策略在奖励学习中的技术门槛。
• 通过提供模块化、开源的库，支持可扩展的查询类型、信念模型和优化器组件，促进可复现性和社区协作开发。

提出的方法

• APReL 提供模块化架构，包含独立组件：环境（Environment）、轨迹（Trajectory）、查询类型（Query Types）、用户模型（User Models）、信念分布（Belief Distributions）、查询优化器（Query Optimizers）和评估模块（Assessment modules）。
• 支持多种查询类型，包括成对偏好、弱比较、完整排序和示范，且支持自定义查询格式的可扩展性。
• 该库使用贝叶斯推理来维护对奖励函数的信念分布，并通过参数化的人类响应模型（如 softmax）利用人类反馈进行更新。
• 查询优化由获取函数驱动，如体积移除、互信息、基于遗憾的策略和汤普森采样，支持单次和批量查询。
• 批量查询生成通过启发式多样性方法和行列式点过程（DPPs）实现，以在信息量和多样性之间取得平衡。
• 该框架与 OpenAI Gym 环境兼容，支持与标准强化学习仿真环境的即插即用。

实验结果

研究问题

• RQ1 如何通过战略性地选择向用户呈现的比较内容，使主动偏好奖励学习更加数据高效？
• RQ2 在减少准确恢复奖励函数所需查询数量方面，不同获取函数（如互信息与体积移除）的相对性能提升如何？
• RQ3 批量查询选择在不牺牲数据效率的前提下，如何提升主动奖励学习的时间效率？
• RQ4 将专家示范整合到先验中，能在多大程度上提升基于偏好的奖励学习的样本效率？
• RQ5 模块化、可扩展的软件库在促进人机交互中新型主动学习算法的开发与基准测试方面，发挥何种作用？

主要发现

• APReL 使研究人员能够实验和比较多种主动偏好奖励学习技术，包括最先进的获取函数，如互信息和汤普森采样。
• 该库支持使用启发式多样性方法和基于 DPP 的方法进行批量查询生成，有助于在提升时间效率的同时保持数据效率。
• 通过将专家示范整合到先验中，APReL 提升了数据效率，这一点在该库所支持的前期研究中已得到验证。
• 模块化设计支持无缝集成新型查询类型、信念模型和获取函数，促进快速原型设计与基准测试。
• APReL 与 OpenAI Gym 环境的兼容性，使得其可在广泛范围的模拟机器人任务中实现轻松部署与测试。
• 该库为开源且社区可扩展，未来版本计划整合新兴方法，如非贝叶斯方法和先进的批量优化技术。