[論文レビュー] Long-Horizon Visual Planning with Goal-Conditioned Hierarchical Predictors

Karl Pertsch, Oleh Rybkin+4 more|arXiv (Cornell University)|Jun 23, 2020

Multimodal Machine Learning Applications参考文献 69被引用数 27

ひとこと要約

本論文は、長時間スパンの視覚的計画のためのゴール条件付き階層的予測子（GCP）を提案する。ゴールに条件づけられた予測と、複数の時間スケールで再帰的に精度を高める手法により、粗いから細かい段階への効率的な軌道予測を可能にする。本手法は、長時間スパンの視覚的ナビゲーションタスクにおいて最先端の性能を達成し、従来手法に比べて計画効率とシーケンス長スケーラビリティの両面で顕著に優れており、ランダムな探索データから得た500ステップの動画シーケンスでも正常に実行可能である。

ABSTRACT

The ability to predict and plan into the future is fundamental for agents acting in the world. To reach a faraway goal, we predict trajectories at multiple timescales, first devising a coarse plan towards the goal and then gradually filling in details. In contrast, current learning approaches for visual prediction and planning fail on long-horizon tasks as they generate predictions (1) without considering goal information, and (2) at the finest temporal resolution, one step at a time. In this work we propose a framework for visual prediction and planning that is able to overcome both of these limitations. First, we formulate the problem of predicting towards a goal and propose the corresponding class of latent space goal-conditioned predictors (GCPs). GCPs significantly improve planning efficiency by constraining the search space to only those trajectories that reach the goal. Further, we show how GCPs can be naturally formulated as hierarchical models that, given two observations, predict an observation between them, and by recursively subdividing each part of the trajectory generate complete sequences. This divide-and-conquer strategy is effective at long-term prediction, and enables us to design an effective hierarchical planning algorithm that optimizes trajectories in a coarse-to-fine manner. We show that by using both goal-conditioning and hierarchical prediction, GCPs enable us to solve visual planning tasks with much longer horizon than previously possible.

研究の動機と目的

• 現在の視覚的計画手法が長時間スパンのタスクにおいて示すスケーラビリティの制限を克服すること。
• 予測をゴールに条件づけることで、可能な軌道の探索空間を縮小すること。
• 1ステップずつ生成するのではなく、階層的・多スケールの予測を用いることで、長期予測の精度を向上させること。
• ゴール条件付きおよび階層的モデリングを活用することで、劣悪なまたはランダムな訓練データに対しても効果的な計画を可能にすること。
• 確率的ダイナミックタイムワープングの定式化により、長時間スパンのタスクにおける柔軟な時間的構造をモデル化すること。

提案手法

• 初期状態とゴール状態の両方に条件づけられた潜在空間のゴール条件付き予測子（GCP）を提案し、探索空間をゴールに到達する軌道に限定することで、効率的な予測を実現する。
• 2つの観測間の途中状態を1つのモジュールで予測する階層的予測フレームワークを設計し、軌道をより細かいセグメントに再帰的に分割する。
• 木構造の再帰的予測メカニズムを採用することで、粗いから細かい段階への計画と、各レベル間での並列処理を可能にする。
• 可変なサブタスクの期間に対応できるように、柔軟な途中予測の配置を許容する確率的ダイナミックタイムワープングの定式化を導入する。
• 前向き・後ろ向きの再帰関係を用いて、2次時間で期待再構成誤差を計算する微分可能アライメント機構を採用する。
• デコードヘッドでの分散再重み付けにより、ボトルネックとなるフレームを特定し、上位レベルのノードが予測が簡単なフレームに集中するように促進する。

実験結果

リサーチクエスチョン

• RQ1 ゴール条件付き予測は、長時間スパンの視覚的計画において探索空間を顕著に縮小できるか？
• RQ2 自己回帰的1ステップ予測と比較して、階層的・粗いから細かい段階への予測は、長期的視覚シーケンス生成を改善できるか？
• RQ3 劣悪なまたはランダムな探索データで訓練されたモデルでも、長時間スパンのタスクに一般化可能か？
• RQ4 ダイナミックタイムワープの統合は、長時間スパンのシーケンスにおける可変期間サブタスクのモデリングをどのように改善するか？
• RQ5 階層的構造は、並列処理を可能にし、実行時間の複雑さをどの程度低減できるか？

主な発見

• GCP-Tree手法は、ランダムな探索データにおいて平均42.6の軌道長を達成し、訓練データの62.6よりも顕著に短く、計画の改善が有効であることを示している。
• モデルは、ランダムな探索データのみを用いても、9ルーム環境でのナビゲーションタスクを正常に計画・実行でき、低品質なデータに対しても頑健であることを示している。
• 階層的構造により、実行時間の複雑さをO(T)からO(log T)に低減し、各レベルで独立したブランチを並列処理できる。
• 本手法は500ステップの動画シーケンスにスケーリング可能であり、従来の視覚的計画手法では到達できなかった長時間スパンの計画を可能にしている。
• デコードヘッドでの分散再重み付けにより、ボトルネックフレームが効果的に特定され、モデルが予測が簡単なセグメントに焦点を当てるよう改善された。
• 提案されたフレームワークは、長時間スパンの視覚的ナビゲーションタスクにおいて、順次ベースラインと比較して計画効率と軌道品質の両面で優れている。