[论文解读] Goal-Aware Prediction: Learning to Model What Matters

Suraj Nair, Silvio Savarese+1 more|arXiv (Cornell University)|Jul 14, 2020

Software System Performance and Reliability被引用 24

一句话总结

本文提出目标感知预测（Goal-Aware Prediction, GAP），一种自监督框架，通过预测目标状态残差而非完整状态来训练动力学模型，使其优先关注与任务相关状态分量。通过同时依赖状态和目标，GAP 降低了关键元素的模型误差，从而在无需奖励或标签的情况下，提升了视觉控制任务的下游性能。

ABSTRACT

Learned dynamics models combined with both planning and policy learning algorithms have shown promise in enabling artificial agents to learn to perform many diverse tasks with limited supervision. However, one of the fundamental challenges in using a learned forward dynamics model is the mismatch between the objective of the learned model (future state reconstruction), and that of the downstream planner or policy (completing a specified task). This issue is exacerbated by vision-based control tasks in diverse real-world environments, where the complexity of the real world dwarfs model capacity. In this paper, we propose to direct prediction towards task relevant information, enabling the model to be aware of the current task and encouraging it to only model relevant quantities of the state space, resulting in a learning objective that more closely matches the downstream task. Further, we do so in an entirely self-supervised manner, without the need for a reward function or image labels. We find that our method more effectively models the relevant parts of the scene conditioned on the goal, and as a result outperforms standard task-agnostic dynamics models and model-free reinforcement learning.

研究动机与目标

• 解决标准动力学模型（以状态重建为目标进行训练）与下游规划器/策略（以任务完成为目标进行训练）之间的目标不匹配问题。
• 在高维视觉观测中减少与任务相关状态分量的模型误差，尤其是在杂乱环境中。
• 实现无需奖励信号或图像标注即可进行自监督学习的动力学模型，使其在规划和策略学习中更具有效性。
• 通过聚焦于目标相关动力学，提升视觉机器人控制中的泛化能力和样本效率。

提出的方法

• 训练一个联合编码状态和目标的潜在动力学模型，学习预测当前状态与目标状态之间的残差。
• 在训练过程中使用目标重标记（goal-relabelling），从单条示范轨迹中生成多样化的条件目标轨迹。
• 将预测目标设定为重建目标状态残差而非完整状态，从而引导模型容量集中于与任务相关的信息。
• 将该框架应用于视频预测模型（如 SVG），通过同时编码当前状态和目标来预测下一时刻的残差。
• 采用自监督对比学习目标，以鼓励解耦表示，聚焦于与目标相关运动和结构。
• 通过仅使用从环境中收集的非结构化视频数据，实现动力学模型的端到端训练，无需奖励信号或标签。

实验结果

研究问题

• RQ1 能否训练出自监督动力学模型，使其优先关注与任务相关的状态分量，从而降低下游规划中关键元素的误差？
• RQ2 与预测完整状态相比，通过建模目标状态残差是否能提升视觉控制任务中的下游任务性能？
• RQ3 目标感知预测能否在真实、杂乱的视觉环境中，有效结合大规模视频预测模型（如 SVG）？
• RQ4 在样本效率和最终性能方面，目标感知预测相较于标准的无任务特异性动力学模型和基于模型的强化学习方法表现如何？

主要发现

• 在 4 项视觉操控任务中的 3 项上，GAP 相较基线实现了 10–20% 的成功率绝对提升，尤其在最复杂的双块任务中提升最大。
• 在真实机器人数据集（BAIR 和 RoboNet）上，GAP 相较标准动作条件 SVG 模型，将目标到达轨迹的预测误差降低了 20–30%。
• 定性分析表明，GAP 能有效捕捉小而与目标相关的物体（如汤匙）的运动，同时忽略无关干扰物，而标准模型则无法做到。
• 消融实验证实，目标条件与残差预测两者缺一不可，其组合性能优于单独使用任一组件。
• GAP 显著降低了与任务相关状态的模型误差，尤其在高变化、杂乱场景中，标准模型往往无法聚焦于关键动力学。
• 该方法在真实视觉控制任务中具有良好的可扩展性，展现出超越仿真环境的鲁棒性与泛化能力。