[论文解读] LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots

Dongge Han, Trevor McInroe+4 more|arXiv (Cornell University)|Apr 22, 2024

Robot Manipulation and Learning被引用 4

一句话总结

LLM-Personalize 提出了一种基于强化学习的自训练流程，通过结合模仿学习与迭代自训练，将 LLM 计划器个性化以匹配用户偏好，从而实现对家用机器人计划器的个性化。在 Housekeep 基准测试中，该方法使成功率提升超过 30%，显著提高了多房间、部分可观测环境中的计划可执行性与偏好对齐能力。

ABSTRACT

Large language models (LLMs) have shown significant potential for robotics applications, particularly task planning, by harnessing their language comprehension and text generation capabilities. However, in applications such as household robotics, a critical gap remains in the personalization of these models to individual user preferences. We introduce LLM-Personalize, a novel framework with an optimization pipeline designed to personalize LLM planners for household robotics. Our LLM-Personalize framework features an LLM planner that performs iterative planning in multi-room, partially-observable household scenarios, making use of a scene graph constructed with local observations. The generated plan consists of a sequence of high-level actions which are subsequently executed by a controller. Central to our approach is the optimization pipeline, which combines imitation learning and iterative self-training to personalize the LLM planner. In particular, the imitation learning phase performs initial LLM alignment from demonstrations, and bootstraps the model to facilitate effective iterative self-training, which further explores and aligns the model to user preferences. We evaluate LLM-Personalize on Housekeep, a challenging simulated real-world 3D benchmark for household rearrangements, and show that LLM-Personalize achieves more than a 30 percent increase in success rate over existing LLM planners, showcasing significantly improved alignment with human preferences. Project page: https://gdg94.github.io/projectllmpersonalize/.

研究动机与目标

• 解决在个性化 LLM 计划器以匹配个体用户偏好方面存在的空白。
• 利用 LLM 改进多房间、部分可观测环境中的长时程规划能力。
• 开发一种可扩展的优化流程，实现在无需大量人工标注偏好数据的情况下实现有效个性化。
• 在具有挑战性的 3D 模拟基准 Housekeep 上评估该框架，以证明其在真实场景中的适用性。
• 实现个性化规划行为在未见家庭布局之间的跨领域迁移。

提出的方法

• 该框架采用三组件智能体架构：上下文生成器根据局部观测构建并更新场景图，LLM 计划器基于场景图生成高层级动作序列，低层控制器负责执行动作。
• 初始的模仿学习阶段将 LLM 计划器与人类示范数据对齐，以启动上下文理解与偏好解读能力。
• 随后进入迭代自训练阶段，模型生成交互数据，基于用户偏好反馈评估结果，并更新策略以偏好高回报（被偏好）的放置方式。
• 自训练过程使用源自人类偏好数据的奖励信号，以优化正确物体-容器放置，平衡探索与利用。
• 优化流程以自举方式应用，从模仿学习开始，以提升数据质量后再启动自训练。
• 该框架在 Housekeep 基准上进行评估，该基准包含多样化的、长时程的、部分可观测的家庭重排任务，并附有真实人类偏好标注。

Figure 1 : Illustration of LLM-Personalize. Agent architecture: The Context Generator constructs and updates a scene graph from local observations. The LLM Planner uses the graph to produce a plan as a sequence of high-level actions, and iteratively re-plans when the previous plan has been executed.

实验结果

研究问题

• RQ1 在无需显式偏好建模的情况下，LLM 计划器能否在家庭机器人中有效个性化以匹配个体用户偏好？
• RQ2 将模仿学习与迭代自训练相结合，如何提升多房间、部分可观测环境中计划质量与偏好对齐能力？
• RQ3 LLM-Personalize 框架在未见家庭布局与物体-容器组合上的泛化能力如何？
• RQ4 在自训练过程中，探索与利用的平衡如何演变，其对最终任务性能有何影响？
• RQ5 在偏好对齐规划中，模仿学习与自训练两个优化阶段对整体成功率的贡献分别是什么？

主要发现

• LLM-Personalize 在 Housekeep 基准测试中，相较于现有基于 LLM 的计划器，成功率提升超过 30%，证明了其强大的偏好对齐能力。
• 模仿学习阶段显著提升了计划可执行性，提高了成功执行高层动作的比例，并为高质量自训练数据提供了支持。
• 在自训练过程中，智能体增加了探索行为，例如在 Scene 3 中，独特放置次数从 2.32 上升至 9.48，随后在后期阶段转向利用。
• 该模型在未见物体组合与布局上表现出良好的泛化能力，当在多样化场景上训练时，测试性能有所提升，表明实现了有效的跨领域迁移。
• 在 Scene 3 中观察到过拟合现象，尽管训练性能很高，但测试性能下降，表明在复杂场景中需要正则化策略。
• 该框架成功学习并坚持正确的物体放置方式，基于用户偏好，通过迭代优化避免了错误放置。

Figure 2 : The Context generator model maintains and updates the graph of the household state including rooms, receptacles and objects, derived from the robot’s local observations at each timestep. The information is provided as a prompt for the LLM planner. The top-down view of the scene is for ill