[論文レビュー] Coarse-to-Fine Q-attention with Learned Path Ranking

Stephen James, Pieter Abbeel|arXiv (Cornell University)|Apr 4, 2022

Robotic Path Planning Algorithms被引用数 4

ひとこと要約

本稿では、計画、Bézier曲線、または行動クローン化されたポリシーを用いて生成された多様なパスを学習してランク付けすることで、C2F-ARMを拡張する「学習されたパスランクイング」（LPR）を提案する。これにより、正確な運動を要する複雑な操作タスクにおける視覚ベースの強化学習を、サンプル効率よく実現できる。主な貢献は、C2F-ARM+LPRであり、16のRLBenchタスクで100％の成功を達成し、トイレの座りをあける、書類棚を開けるといった実世界のタスクを3回のデモで10〜15分で学習可能である。

ABSTRACT

We propose Learned Path Ranking (LPR), a method that accepts an end-effector goal pose, and learns to rank a set of goal-reaching paths generated from an array of path generating methods, including: path planning, Bezier curve sampling, and a learned policy. The core idea being that each of the path generation modules will be useful in different tasks, or at different stages in a task. When LPR is added as an extension to C2F-ARM, our new system, C2F-ARM+LPR, retains the sample efficiency of its predecessor, while also being able to accomplish a larger set of tasks; in particular, tasks that require very specific motions (e.g. opening toilet seat) that need to be inferred from both demonstrations and exploration data. In addition to benchmarking our approach across 16 RLBench tasks, we also learn real-world tasks, tabula rasa, in 10-15 minutes, with only 3 demonstrations.

研究の動機と目的

• トイレの座りをあけるなど、特定の運動が不可欠なタスクを学習する際、一般化されたパス計画だけでは解決できないC2F-ARMの限界を克服すること。
• 物体の運動学的知識を事前に持たない1つのエージェントが、多様でタスク固有の運動パターンを学習できること。
• 複数のパス生成手法と学習されたランク関数を組み合わせることで、実世界の訓練におけるサンプル効率を向上させること。
• スパarselyリワードで視覚入力のみのタスク、特に微細な運動制御を要するタスクに対しても一般化できること。
• 手動で設計された運動プリミティブに依存するのを減らし、デモと探索データからパスの好みを学習することで実現すること。

提案手法

• LPRは、3つのソース（サンプリングベースのパス計画、Bézier曲線サンプリング、行動クローン化ポリシー）から生成された衝突のない多様なパスをランク付けるQ関数を学習する。
• パスポリシーは、タスクを成功に導いたパスを用いた行動クローンで訓練され、直接的な報酬形状なしに運動の好みを学習可能となる。
• 推論時、LPR Q関数で最も高いスコアを得たパスが選択され実行され、異なるパス生成戦略間で動的に選択可能となる。
• C2F-ARMと統合する際、次の最良ポーズ出力をパスランクイングモジュールの入力として使用することで、元のシステムのサンプル効率を維持する。
• 訓練の進行に伴い、サンプリングベースの手法からポリシーに基づくパスへと進化するハイブリッドパス生成パイプラインを採用する。
• パスポリシーは視覚入力を使用せず訓練されるため、計算オーヘッドを最小限に抑えつつも、効果的なパス選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト固有の知識なしに、視覚ベースで報酬がスパarselyな強化学習において、学習されたパスランクイング機構がタスクカバレッジを向上させられるか。
• RQ2 計画、曲線サンプリング、および学習されたポリシーを組み合わせたハイブリッドパス生成アプローチは、複雑な操作タスクをどれほど効果的に解決できるか。
• RQ3 LPRは、最小限のデモで正確な運動を要する実世界タスクをC2F-ARMが学習可能にするか。
• RQ4 行動クローン化されたパスポリシーの統合は、高い運動特異性を要するタスクにおける一般化性と成功確率を向上させるか。
• RQ5 訓練が進むに従い、どの程度サンプリングベースのパス生成に依存しなくなるか。

主な発見

• C2F-ARM+LPRは、トイレの座りをあける、引き出しを開けるなど、極めて特定の運動を要するタスクも含め、16のRLBenchタスクで100％の成功率を達成した。
• 本システムは、3回の遠隔操作デモを用いて、書類棚を開ける、おもちゃの洗濯機を操作するといった実世界タスクを約10〜15分で学習可能であった。
• スライド運動や直線運動を要するタスク（例：open_drawer）ではパスポリシーが最も高いランクを得たが、回転関節を要するタスク（例：lift_toilet_seat_up）では曲線パスが好まれた。
• C2F-ARMのサンプル効率を維持しながらタスク範囲を拡大し、以前に解決済みのタスクにおいてもパフォーマンスの低下が見られなかった。
• 訓練が進むに従い、学習されたパスポリシーの有効性が向上し、サンプリングベースのパス生成への依存度が低下した。
• 定性的な結果では、LPRがタスクのダイナミクスに応じて適切なパスタイプを正しく選択していることが確認され、エピソード間で一貫したパス選択パターンが可視化された。