[論文レビュー] Search-Based Task Planning with Learned Skill Effect Models for Lifelong Robotic Manipulation

Jacky Liang, Mohit Sharma+4 more|arXiv (Cornell University)|Sep 17, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、学習されたスキル効果モデル（SEMs）を用いて、新しいスキルやタスクを継続的に統合可能な生涯的ロボット操作を実現する、検索ベースのタスク計画フレームワークを提案する。反復的なシミュレーションデータ収集と、グラフニューラルネットワーク（GNN）に基づくSEMsの訓練により、スキルの結果とコストを予測し、ファインチューニングを伴わずに現実世界の設定でも効率的な計画が可能となり、未学習のタスクや物体の変化に対しても低コストで高い成功率を達成した。

ABSTRACT

Robots deployed in many real-world settings need to be able to acquire new skills and solve new tasks over time. Prior works on planning with skills often make assumptions on the structure of skills and tasks, such as subgoal skills, shared skill implementations, or task-specific plan skeletons, which limit adaptation to new skills and tasks. By contrast, we propose doing task planning by jointly searching in the space of parameterized skills using high-level skill effect models learned in simulation. We use an iterative training procedure to efficiently generate relevant data to train such models. Our approach allows flexible skill parameterizations and task specifications to facilitate lifelong learning in general-purpose domains. Experiments demonstrate the ability of our planner to integrate new skills in a lifelong manner, finding new task strategies with lower costs in both train and test tasks. We additionally show that our method can transfer to the real world without further fine-tuning.

研究の動機と目的

• 新しいスキルやタスクを再訓練なしに段階的に統合できる生涯的ロボット操作を可能にすること。
• 固定されたスキル構造、共有埋め込み、または部分目標ベースの計画に依存する従来の仮定を緩和し、柔軟性を高めること。
• パラメータ、物体特徴、タスク構成の変動に一般化可能なスケーラブルでデータ効率の良いスキル効果モデルの学習手法を開発すること。
• シミュレーションから現実への転送を活用することで、ファインチューニングなしに学習済み計画器を現実世界に展開できること。

提案手法

• 各スキルが学習されたスキル効果モデル（SEM）に関連付けられ、終端状態と実行コストを予測する。このフレームワークは、パラメータ化されたスキルタプルの上での検索ベース計画を採用する。
• SEMsは、状態とスキルパラメータの入力を処理し、結果を予測するためのグラフニューラルネットワーク（GNN）アーキテクチャを用いて訓練される。
• 現在のSEMsを用いてトレーニングタスク上で計画器を実行し、関連するスキル実行データを収集する反復的データ収集ループが実行される。
• 新しいスキルは収集されたデータ上で新しいSEMsを訓練することで統合され、利用可能な新しいデータに応じて既存のSEMsもファインチューニングされる。
• 計画器はSEMsを用いて検索をガイドし、リアルタイムのシミュレーションやハードコードされたモデルに依存することを回避する。
• 固定されたゴール状態や埋め込みではなく、ゴール条件関数を用いることで、柔軟なタスク仕様が可能となり、新しいタスクへの一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 計画器は、システム全体の再訓練なしに、新しいスキルを生涯学習フレームワークに効率的に統合できるか？
• RQ2 学習済みのスキル効果モデルは、トレーニング時に見られなかった異なる物体サイズや物体数にどれほど一般化できるか？
• RQ3 ドメイン特化のファインチューニングなしに、現実世界のシナリオで低コストかつ高成功率の計画を達成できるか？
• RQ4 SEMsと組み合わせた学習済み事前条件モデルは、計画成功にどの程度寄与するか？
• RQ5 反復的データ収集スキームは、時間経過とともにサンプル効率とモデル性能をどのように向上させるか？

主な発見

• ランダム計画器と比較して、平均コストが著しく低く抑えられ、テストタスクにおける計画時間に10倍の高速化が達成された。
• ファインチューニングなしで現実世界への転送に成功し、未学習のタスクや物体設定に対しても頑健な一般化を示した。
• タスクB（赤ブロックをバケツに配置）において、ピックアンドプレース＋トレイスライドの組み合わせは、学習済み事前条件モデルを用いることで平均コスト4.35、成功率90％を達成した。
• SEMsは異なる物体サイズに対しても良好に一般化した：2cm、3cm、4cmのブロックにおける平均コストはそれぞれ6.56以内に収まり、性能低下は最小限に抑えられた。
• 物体数の変化に対しても一般化が可能であった。例えば、赤ブロック1個では平均コスト1.91、2個では4.33を達成した（ピックアンドプレースのみ）。
• 学習済み事前条件モデルはピックアンドプレースで96％、ピックアンドプレース＋トレイスライドで90％の成功率を達成し、スキル実行予測の信頼性が確認された。