[论文解读] Alignment-based compositional semantics for instruction following
本文提出了一种基于对齐的组合语义模型，用于指令遵循任务，通过建模指令与动作之间的序列到序列对齐，以及句子语法与动作表征之间的结构到结构对齐，联合推理结构化文本与环境观测。该方法在三个多样化的指令遵循基准任务——地图阅读、迷宫导航和拼图求解中实现了最先进性能，通过联合规划与组合语义建模，实现了自然语言指令的灵活、具身化且符合语用的解释。
This paper describes an alignment-based model for interpreting natural language instructions in context. We approach instruction following as a search over plans, scoring sequences of actions conditioned on structured observations of text and the environment. By explicitly modeling both the low-level compositional structure of individual actions and the high-level structure of full plans, we are able to learn both grounded representations of sentence meaning and pragmatic constraints on interpretation. To demonstrate the model's flexibility, we apply it to a diverse set of benchmark tasks. On every task, we outperform strong task-specific baselines, and achieve several new state-of-the-art results.
研究动机与目标
- 开发一个统一的指令遵循框架，将组合语义与动态环境中的结构化规划相结合。
- 通过实现上下文感知、具身化的自然语言指令解释，解决先前语义解析器和线性策略估计器的局限性。
- 显式建模低层次动作组合与高层次计划结构，支持语用推理，并提升对噪声或不完整指令的鲁棒性。
- 在无需任务特定架构修改的情况下，实现对多样化指令遵循任务的泛化能力。
- 通过将语言结构作为启发式方法引入动作序列搜索，提升规划效率与成功率。
提出的方法
- 将指令遵循建模为结构化预测问题，采用具有对齐势能的块结构图条件随机场。
- 建模自然语言指令与候选动作序列之间的序列到序列对齐，以推断哪些动作被指定或隐含。
- 通过句子依存解析与动作图表示之间的结构到结构对齐，实现意义的组合式具身化。
- 通过转移势能整合环境模型，编码状态动态与约束，支持前瞻式规划。
- 利用环境执行中的奖励信号进行端到端训练，以优化任务成功率，避免依赖人工标注的逻辑形式。
- 采用基于语言与感知结构导出的结构化特征的束搜索，高效引导计划搜索。
实验结果
研究问题
- RQ1如何在不依赖显式逻辑形式或手工设计谓词的情况下，将组合语义具身化于真实世界环境中？
- RQ2语言结构与动作结构之间的对齐在多大程度上能提升对指令过度或不足指定的鲁棒性？
- RQ3统一模型是否能在具有不同语言复杂度与环境动态性的多样化指令遵循任务中，超越任务特定基线？
- RQ4在具有复杂搜索空间的环境中，将语言结构用作规划启发式方法的有效性如何？
- RQ5高层次计划结构在解决歧义与推断自然语言指令中缺失步骤方面发挥何种作用？
主要发现
- 该模型在所有三个基准任务——地图阅读、迷宫导航和拼图求解中均达到最先进性能，优于强基线模型。
- 在拼图求解（Crossblock）任务中，模型达到70%的精确匹配率与86%的成功率，显著优于无文本基线（54%匹配率，78%成功率）。
- 在所有任务中，该模型相较先前最先进结果将错误率降低了15–20%，展现出一致的性能提升。
- 同时包含动作结构与路径结构的组件带来可测量的性能改进，消融实验表明，移除任一组件均导致性能下降。
- 模型通过地图中的空间邻近性成功解析了模糊指代；在迷宫导航中利用环境模型推断缺失步骤；在拼图求解中通过规则知识解释模糊提示。
- 将语言结构用作规划启发式方法，使模型能够解决大量仅靠朴素束搜索难以处理的问题实例。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。