[論文レビュー] Goal-Aware Prediction: Learning to Model What Matters

Suraj Nair, Silvio Savarese+1 more|arXiv (Cornell University)|Jul 14, 2020

Software System Performance and Reliability被引用数 24

ひとこと要約

本論文では、ゴール状態の残差を全状態の代わりに予測することで、タスク関連の状態成分を優先的に学習する自己教師ありフレームワークであるGoal-Aware Prediction (GAP) を提案する。状態とゴールの両方に条件づけることで、重要な要素におけるモデル誤差を低減し、報酬やラベルなしに視覚ベースの制御において下流タスクの性能を向上させる。

ABSTRACT

Learned dynamics models combined with both planning and policy learning algorithms have shown promise in enabling artificial agents to learn to perform many diverse tasks with limited supervision. However, one of the fundamental challenges in using a learned forward dynamics model is the mismatch between the objective of the learned model (future state reconstruction), and that of the downstream planner or policy (completing a specified task). This issue is exacerbated by vision-based control tasks in diverse real-world environments, where the complexity of the real world dwarfs model capacity. In this paper, we propose to direct prediction towards task relevant information, enabling the model to be aware of the current task and encouraging it to only model relevant quantities of the state space, resulting in a learning objective that more closely matches the downstream task. Further, we do so in an entirely self-supervised manner, without the need for a reward function or image labels. We find that our method more effectively models the relevant parts of the scene conditioned on the goal, and as a result outperforms standard task-agnostic dynamics models and model-free reinforcement learning.

研究の動機と目的

• 標準のダイナミクスモデル（状態再構築を目的に訓練）と下流のプランナーやポリシー（タスク完了を目的に訓練）との間の目的不一致を解消すること。
• 特にごみだらけの環境において、高次元の視覚的観測におけるタスク関連状態成分のモデル誤差を低減すること。
• 報酬信号や画像アノテーションを必要とせず、計画やポリシー学習に効果的な自己教師ありのダイナミクスモデルを学習可能にすること。
• タスク関連のダイナミクスにモデル容量を集中させることで、視覚ベースのロボット制御における一般化性能とサンプル効率を向上させること。

提案手法

• 現在の状態とゴール状態の間の残差を予測するように学習する、状態とゴールを共同で符号化する潜在ダイナミクスモデルを訓練する。
• 訓練中にゴール再割り当てを用いて、1つのデモンストレーション軌道から多様なゴール条件付き軌道を生成する。
• 全状態の代わりにゴール状態の残差を再構築することを予測目的として定式化することで、モデル容量をタスク関連情報に向けさせる。
• SVG などの動画予測モデルにこのフレームワークを適用し、エンコーダーを現在の状態とゴールに条件づけて、次の残差を予測する。
• ゴール関連の運動と構造に注目した分離可能な表現を促進するため、自己教師ありの対照的目的を適用する。
• 報酬信号やラベルなしに、環境から収集した非構造的な動画データのみを用いて、エンドツーエンドのダイナミクスモデル訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありのダイナミクスモデルを、タスク関連の状態成分を優先的に学習させることで、下流の計画における重要な要素の誤差を低減できるか？
• RQ2 全状態の代わりにゴール状態の残差をモデル化することで、視覚ベースの制御タスクにおける下流タスク性能が向上するか？
• RQ3 ゴールに配慮した予測を、実世界の複雑な視覚環境における大規模な動画予測モデル（例：SVG）と効果的に組み合わせられるか？
• RQ4 サンプル効率と最終的な性能の観点から、標準のタスクに依存しないダイナミクスモデルやモデルフリー強化学習と比較して、ゴールに配慮した予測はどのように差をつけるか？

主な発見

• GAP は、4つの視覚ベースの操作タスクのうち3つでベースライン比10–20%の絶対的成績向上を達成し、特に2つのブロックを操作する最も複雑なタスクで最大の向上を示した。
• 実ロボットデータセット（BAIR および RoboNet）では、GAP が標準のアクション条件付き SVG よりもゴール到達軌道の予測誤差を20–30%低減した。
• 定性的な分析から、GAP は、スプーンなどの小さなゴール関連オブジェクトの運動を効果的に捉えながら、関係のない干渉要因を無視しているのに対し、標準モデルはそのような特徴を捉えられていないことが明らかになった。
• アブレーションスタディにより、ゴール条件づけと残差予測の両方が最適性能を達成するために不可欠であることが確認され、単独で使用するよりも組み合わせの方が優れた性能を示した。
• GAP は、特に変動が大きくごみだらけのシーンにおいて、タスク関連の状態におけるモデル誤差を顕著に低減しており、標準モデルが重要なダイナミクスに注目できない状況でも有効である。
• 本手法は、実世界の視覚制御タスクに効果的にスケーリング可能であり、シミュレーション環境を超えて、頑健性と一般化性能を示した。