[论文解读] Hierarchical Task Learning from Language Instructions with Unified Transformers and Self-Monitoring

Yichi Zhang, Joyce Chai|arXiv (Cornell University)|Jun 7, 2021

Multimodal Machine Learning Applications参考文献 24被引用 6

一句话总结

本文提出 HiTUT，一种分层任务学习框架，将基于语言指令的任务执行分解为子目标规划、导航和操作三个阶段，采用统一的 Transformer 模型和自我监控机制，以提升泛化能力。在 ALFRED 基准测试中，HiTUT 在未见过的环境中相较于之前的最先进方法，成功率达到 160% 的性能提升，通过显式的分层结构和动态回溯机制，展现出更优的泛化能力和可解释性。

ABSTRACT

Despite recent progress, learning new tasks through language instructions remains an extremely challenging problem. On the ALFRED benchmark for task learning, the published state-of-the-art system only achieves a task success rate of less than 10% in an unseen environment, compared to the human performance of over 90%. To address this issue, this paper takes a closer look at task learning. In a departure from a widely applied end-to-end architecture, we decomposed task learning into three sub-problems: sub-goal planning, scene navigation, and object manipulation; and developed a model HiTUT (stands for Hierarchical Tasks via Unified Transformers) that addresses each sub-problem in a unified manner to learn a hierarchical task structure. On the ALFRED benchmark, HiTUT has achieved the best performance with a remarkably higher generalization ability. In the unseen environment, HiTUT achieves over 160% performance gain in success rate compared to the previous state of the art. The explicit representation of task structures also enables an in-depth understanding of the nature of the problem and the ability of the agent, which provides insight for future benchmark development and evaluation.

研究动机与目标

• 为解决端到端模型在从语言指令学习任务时泛化能力差的问题，尤其是在未见过的环境中。
• 通过显式建模分层任务结构，提升模型可解释性和智能体自主性。
• 将任务学习分解为三个子问题——子目标规划、导航和操作，以实现更好的分析与模块化。
• 在推理过程中实现自我监控和动态回溯，以应对失败并适应新情况。
• 通过结构化分解和消融分析，深入洞察任务复杂性与模型瓶颈。

提出的方法

• HiTUT 使用统一的 Transformer 架构，联合建模语言指令、视觉观测和动作序列，覆盖子目标规划、导航和操作三个阶段。
• 模型显式表示任务层次结构，将高层目标分解为涉及导航和操作动作的子目标。
• 通过跟踪已完成的子目标实现自我监控，并在发生失败时支持回溯以修改计划。
• 该框架支持推理时的动态重规划，使智能体能够在不重新训练的情况下适应异常情况。
• 任务分解支持模块化评估，可隔离子问题的性能，以识别瓶颈（如导航）。
• 视觉定位通过掩码生成器单独建模，消融研究可分离其对导航和操作性能的影响。

实验结果

研究问题

• RQ1 与端到端模型相比，分层且模块化的任务学习方法是否能提升在未见过环境中的泛化能力？
• RQ2 显式子目标表示如何增强模型可解释性，并支持自我监控与回溯？
• RQ3 在 ALFRED 基准中，子目标规划、导航和操作的相对难度如何？
• RQ4 语言指令在学习操作和导航动作中的贡献有多大？视觉定位如何影响性能？
• RQ5 任务分解在深入分析模型局限性和基准设计方面有何作用？

主要发现

• 在 ALFRED 基准的未见过环境中，HiTUT 相较于之前的最先进方法，成功率达到 160% 的性能提升。
• 模型的成功主要得益于显式分层结构和自我监控能力带来的泛化能力提升。
• 导航被识别为主要瓶颈，即使使用全部训练数据，其准确率也仅为 82%，而子目标规划和操作规划在数据极少时准确率均超过 90%。
• 语言指令对动作预测的贡献极小，当其被排除时性能仅下降 1%-2%，表明可能存在数据集偏差。
• 动作参数的视觉定位是最具挑战性的部分，仅在提供真实对象掩码时性能才接近完美。
• 在提供真实子目标、导航动作和视觉定位的情况下，操作动作预测的准确率接近完美，表明动作类型和参数预测比定位更简单。