[論文レビュー] Hierarchical Foresight: Self-Supervised Learning of Long-Horizon Tasks via Visual Subgoal Generation

Suraj Nair, Chelsea Finn|arXiv (Cornell University)|Sep 12, 2019

Multimodal Machine Learning Applications被引用数 30

ひとこと要約

本論文では、長時間にわたる視覚ベースの操作タスクを分解するために意味的に意味のある視覚的部分目標を生成する自己教師付きフレームワーク、階層的視覚予測（HVF）を提案する。このフレームワークにより、潜在空間最適化を用いた効率的な計画が可能となり、シミュレーション上ではベースライン手法比で最大200%の性能向上を達成し、報酬や示範なしに、実世界のごみだらけの環境へも一般化可能である。

ABSTRACT

Video prediction models combined with planning algorithms have shown promise in enabling robots to learn to perform many vision-based tasks through only self-supervision, reaching novel goals in cluttered scenes with unseen objects. However, due to the compounding uncertainty in long horizon video prediction and poor scalability of sampling-based planning optimizers, one significant limitation of these approaches is the ability to plan over long horizons to reach distant goals. To that end, we propose a framework for subgoal generation and planning, hierarchical visual foresight (HVF), which generates subgoal images conditioned on a goal image, and uses them for planning. The subgoal images are directly optimized to decompose the task into easy to plan segments, and as a result, we observe that the method naturally identifies semantically meaningful states as subgoals. Across three out of four simulated vision-based manipulation tasks, we find that our method achieves nearly a 200% performance improvement over planning without subgoals and model-free RL approaches. Further, our experiments illustrate that our approach extends to real, cluttered visual scenes. Project page: https://sites.google.com/stanford.edu/hvf

研究の動機と目的

• 自己教師付きの条件下で、未確認の複雑な環境における長時間にわたる視覚ベースの操作の課題に対処すること。
• 長時間にわたる動画予測と計画における、蓄積される不確実性と疎な報酬信号の課題を克服すること。
• 示範や密度の高い報酬なしに、新しい物体や目標に対して一般化できるようにすること。
• 潜在空間最適化を通じて、意味的に意味のある部分目標を自動で発見すること。
• 長時間タスクを短時間タスクの部分に分解することにより、視覚ベースのタスクにおける計画の効率性と成功確率を向上させること。

提案手法

• 本手法は、視覚的観測を低次元の潜在空間に埋め込むために変分オートエンコーダ（VAE）を用い、効率的な最適化を実現する。
• 部分目標はVAEの潜在空間で最適化され、各部分にわたる最大計画コストを最小化することで、耐障害性を確保する。
• 階層的計画戦略は、視覚的モデル予測制御（MPC）を用い、初期状態から部分目標へ、次に部分目標から次の部分目標へと段階的に計画を実行する。
• 部分目標生成は自己教師付きである：報酬や示範を必要とせず、期待される計画コストを低くすることを最適化する。
• 最終的な目標画像に条件づけることで、新しいタスクや物体に対してゼロショット一般化が可能になる。
• 生成モデルを活用して妥当な将来状態を探索し、意味的に意味のある中間状態を部分目標として特定する。

実験結果

リサーチクエスチョン

• RQ1 疎な報酬信号と高い不確実性の下で、部分目標生成は長時間にわたる視覚的計画を改善できるか？
• RQ2 視覚空間における自己教師付きの部分目標発見は、新しい物体や目標への一般化を向上させられるか？
• RQ3 VAEの潜在空間で部分目標を最適化することで、ピクセル空間での直接計画と比較して、計画の効率性と成功確率が向上するか？
• RQ4 部分目標の数が性能に与える影響は何か？複雑さと成功確率の最適なトレードオフは何か？
• RQ5 微調整なしに、実世界の複雑な視覚環境へ一般化可能か？

主な発見

• 迷路ナビゲーションのシミュレーションタスクにおいて、HVFは1つの部分目標で47%の成功確率を達成したのに対し、部分目標なしでは33%にとどまり、相対的に42%の向上を示した。
• 挑戦的なデスク操作環境において、HVFはモデルフリー強化学習や最先端の部分目標手法と比較して、少なくとも20%の絶対的性能向上を達成した。
• 2つの部分目標を用いた場合、迷路タスクで54%の成功確率を達成したが、5つ以上の部分目標を用いると、探索の複雑さが増加し、性能が著しく低下した。
• 部分セグメント間の最大コストを最適化対象とした手法が、平均コストを最小化する手法よりも優れていたことから、外れ値に対する耐性が重要であることが示された。
• 1回の反復で1000回のMPCサンプルを使用しても、HVFは部分目標なしの標準的視覚予測法を上回った。これは、部分目標の利点が単にサンプリングの恩恵によるものではないことを示している。
• 実ロボット操作データにおいて、HVFは現実的で意味的に意味のある部分目標を効果的に生成した。これは、実世界への適用可能性を実証している。