[論文レビュー] LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots

Dongge Han, Trevor McInroe+4 more|arXiv (Cornell University)|Apr 22, 2024

Robot Manipulation and Learning被引用数 4

ひとこと要約

LLM-Personalize は、模倣学習と反復的自己学習を組み合わせることで、ユーザーの好みに合わせて家庭用ロボットの LLM プランナーを個人化する強化学習ベースの自己学習パイプラインを導入する。部分観測可能な複数部屋環境において計画実行性と好みの整合性を向上させることで、Housekeep ベンチマークにおいて成功率が 30% 以上向上した。

ABSTRACT

Large language models (LLMs) have shown significant potential for robotics applications, particularly task planning, by harnessing their language comprehension and text generation capabilities. However, in applications such as household robotics, a critical gap remains in the personalization of these models to individual user preferences. We introduce LLM-Personalize, a novel framework with an optimization pipeline designed to personalize LLM planners for household robotics. Our LLM-Personalize framework features an LLM planner that performs iterative planning in multi-room, partially-observable household scenarios, making use of a scene graph constructed with local observations. The generated plan consists of a sequence of high-level actions which are subsequently executed by a controller. Central to our approach is the optimization pipeline, which combines imitation learning and iterative self-training to personalize the LLM planner. In particular, the imitation learning phase performs initial LLM alignment from demonstrations, and bootstraps the model to facilitate effective iterative self-training, which further explores and aligns the model to user preferences. We evaluate LLM-Personalize on Housekeep, a challenging simulated real-world 3D benchmark for household rearrangements, and show that LLM-Personalize achieves more than a 30 percent increase in success rate over existing LLM planners, showcasing significantly improved alignment with human preferences. Project page: https://gdg94.github.io/projectllmpersonalize/.

研究の動機と目的

• 個々のユーザーの好みに合わせて LLM プランナーを家庭用ロボティクスに個人化するためのギャップを埋める。
• 部分観測可能な複数部屋環境における長時間計画を LLM を用いて改善する。
• 広範な人間がアノテートした好みのデータを必要としないスケーラブルな最適化パイプラインを構築する。
• Housekeep という挑戦的な 3D シミュレーテッドベンチマーク上でフレームワークを評価し、実世界への適用可能性を示す。
• 未確認の家庭のレイアウトにわたる、個人化された計画行動のドメイン間転移を可能にする。

提案手法

• フレームワークは、三段階のエージェントアーキテクチャを採用する：局所的観測からシーングラフを構築・更新するコンテキストジェネレータ、シーングラフに基づいて高レベルの行動シーケンスを生成する LLM プランナー、およびその行動を実行する低レベルコントローラー。
• 初期段階として、模倣学習を実施し、LLM プランナーを人間のデモンストレーションデータに合わせて初期化することで、コンテキスト理解と好みの解釈を初期化する。
• その後、反復的自己学習フェーズに移行し、モデルが相互作用データを生成し、ユーザーの好みフィードバックに基づいて結果を評価し、高い報酬（好まれる）配置を優遇する方策を更新する。
• 自己学習プロセスでは、人間の好みデータから得られる報酬信号を用いて、正しいオブジェクト・レセプテクル配置を最適化し、探索と活用のバランスを取る。
• 最適化パイプラインは、自己学習を開始する前にデータ品質を向上させるために、模倣学習から段階的に開始するブートストラップ方式を採用する。
• フレームワークは、実際の人間の好みアノテーションが付与された、多様で長時間計画的かつ部分観測可能な家庭内整理タスクを特徴とする Housekeep ベンチマークで評価される。

Figure 1 : Illustration of LLM-Personalize. Agent architecture: The Context Generator constructs and updates a scene graph from local observations. The LLM Planner uses the graph to produce a plan as a sequence of high-level actions, and iteratively re-plans when the previous plan has been executed.

実験結果

リサーチクエスチョン

• RQ1 明示的な好みモデリングを必要とせずに、家庭用ロボティクスにおける LLM プランナーを個々のユーザーの好みに効果的に個人化できるか？
• RQ2 模倣学習と反復的自己学習を組み合わせることで、複数部屋で部分観測可能な環境における計画品質と好みの整合性はどのように向上するか？
• RQ3 LLM-Personalize フレームワークは、未確認の家庭のレイアウトやオブジェクト・レセプテクルの組み合わせにどの程度一般化できるか？
• RQ4 自己学習プロセス中に、探索と活用のバランスはどのように変化し、最終的なタスクパフォーマンスにどのような影響を与えるか？
• RQ5 模倣学習と自己学習の各最適化フェーズが、好みに整合した計画における総合的な成功率に果たす寄与度はどの程度か？

主な発見

• LLM-Personalize は、Housekeep ベンチマークにおいて、既存の LLM ベースのプランナーと比較して成功率が 30% 以上向上し、強い好みの整合性を示した。
• 模倣学習フェーズは計画の実行可能性を顕著に向上させ、成功裏に実行された高レベル行動の割合を増やし、高品質な自己学習データの生成を可能にした。
• 自己学習の過程でエージェントは探索を増加させ、Scene 3 では一意な配置数が 2.32 から 9.48 に上昇したが、後続段階では活用へとシフトした。
• モデルは未確認のオブジェクトの組み合わせやレイアウトに対しても良好に一般化し、多様なシーンで学習した場合にテストパフォーマンスが向上したため、効果的なドメイン間転移が実現した。
• Scene 3 では過学習が観察され、訓練性能は高かったもののテスト性能が低下したため、複雑なシナリオでは正則化の必要性が示唆された。
• フレームワークは、ユーザーの好みに基づいて正しいオブジェクト配置を学習し、反復的最適化により誤った配置を回避する能力を効果的に獲得した。

Figure 2 : The Context generator model maintains and updates the graph of the household state including rooms, receptacles and objects, derived from the robot’s local observations at each timestep. The information is provided as a prompt for the LLM planner. The top-down view of the scene is for ill