[論文レビュー] Regression Planning Networks

Danfei Xu, Roberto Martín-Martín+4 more|arXiv (Cornell University)|Sep 28, 2019

Human Pose and Action Recognition被引用数 9

ひとこと要約

本論文では、高次元の視覚的観測を前提として、シンボリックなタスク目標から後退的に計画を行うニューラルネットワークアーキテクチャである回帰計画ネットワーク（RPN）を紹介する。視覚入力からのエンドツーエンド学習と後退的シンボリック計画を組み合わせることで、グリッドワールドおよび3Dキッチン環境において、長期間にわたるタスクでほぼ最適な性能を達成し、訓練時に見未曾ざらぬタスク構成に対してもゼロショットで一般化する。

ABSTRACT

Recent learning-to-plan methods have shown promising results on planning directly from observation space. Yet, their ability to plan for long-horizon tasks is limited by the accuracy of the prediction model. On the other hand, classical symbolic planners show remarkable capabilities in solving long-horizon tasks, but they require predefined symbolic rules and symbolic states, restricting their real-world applicability. In this work, we combine the benefits of these two paradigms and propose a learning-to-plan method that can directly generate a long-term symbolic plan conditioned on high-dimensional observations. We borrow the idea of regression (backward) planning from classical planning literature and introduce Regression Planning Networks (RPN), a neural network architecture that plans backward starting at a task goal and generates a sequence of intermediate goals that reaches the current observation. We show that our model not only inherits many favorable traits from symbolic planning, e.g., the ability to solve previously unseen tasks but also can learn from visual inputs in an end-to-end manner. We evaluate the capabilities of RPN in a grid world environment and a simulated 3D kitchen environment featuring complex visual scenes and long task horizons, and show that it achieves near-optimal performance in completely new task instances.

研究の動機と目的

• 動的予測の誤差累積による影響を受ける、学習されたフォワード計画モデルの長期間タスクにおける限界を解決すること。
• 事前に定義されたシンボリック状態およびアクションモデルを必要とする古典的シンボリックプランナの現実世界応用におけるギャップを克服すること。
• シンボリック推論を用いて高次元観測から長期間計画をエンドツーエンドで学習すること。
• 訓練時に見未曾ざらぬタスク構成（例：新しい数の皿や材料）に対してもゼロショット一般化を達成すること。
• 依存関係モデリングによる構成的計画を統合し、複雑な目標を実行可能な部分目標に分解すること。

提案手法

• 最終的なシンボリック目標から現在の観測へと後退的に計画を行うニューラルアーキテクチャとして、回帰計画ネットワーク（RPN）を提案する。
• 現在の視覚的観測を条件として、逆順に逐次的に中間のシンボリック目標を予測する事前条件ネットワークを用いる。
• シンボリック部分目標間の構成的関係をモデリングするための依存関係ネットワークを導入し、複雑なタスクの階層的分解を可能にする。
• 観測-目標トラジェクトリと最終タスク目標から成るデモンストレーションデータを用いて、モデルをエンドツーエンドで学習する。
• 現在の観測を条件として、状態空間の巨大な探索を避けるために、目標から現在状態への単一のパスを直接予測する。
• 低レベルのコントローラ（例：RRTベースのプランナ）を統合し、シンボリック計画に基づいて部分目標を環境で実行する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのプランナは、未訓練のタスク構成に対しても、長期間タスクでほぼ最適な性能を達成できるか？
• RQ2 視覚的観測を条件とした後退的シンボリック計画は、フォワード計画に比べ、一般化性および正確性で優れているか？
• RQ3 ニューラルネットワークは、構成的依存関係を用いて、複雑なシンボリック目標を実行可能な部分目標に効果的に分解できるか？
• RQ4 訓練時に見未曾ざらぬ材料や皿の数が多いタスクに対しても、モデルの一般化性能はどの程度高いか？
• RQ5 各アーキテクチャ的要素（事前条件ネットワーク、依存関係ネットワーク）が総合的な計画性能に果たす寄与度は何か？

主な発見

• RPNは訓練タスク（I=3, D=2）で98.5%の成功率を達成し、材料を減らした評価タスク（I=2, D=1）でも98.6%を維持し、強力なゼロショット一般化を示した。
• 最大6つの材料と3つの皿を含むより複雑な評価タスクにおいても、RPNは高い性能（95.3%～98.4%の成功率）を維持し、すべてのベースラインを上回った。
• E2Eベースラインは、I=6, D=3のタスクで0.0%の成功率を示し、シンボリック抽象化なしにエンドツーエンド計画を用いる限界を示した。
• RP-only（回帰計画のみ）は、未訓練のタスクで著しく性能が低下した（例：I=4, D=3で27.9%）、構成的モデリングなしでは純粋な回帰計画では一般化が不十分であることを示した。
• SS-only（部分目標分解のみ）は、評価タスクでRP-onlyより優れた性能を示したが、RPNに劣り、視覚的条件付きでの共同学習の必要性を確認した。
• 可視化結果から、RPNは果物と野菜に対して異なる調理手順（例：フライパン vs. なべ、コンロの起動）を正しく計画しており、タスク固有の制約を適切に処理していることが示された。