[论文解读] Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences

Hongyuan Mei, Mohit Bansal+1 more|arXiv (Cornell University)|Jun 12, 2015

Topic Modeling参考文献 37被引用 111

一句话总结

该论文提出了一种端到端的序列到序列神经模型，采用双向LSTM-RNN与多级对齐机制，将自然语言导航指令映射为可执行的动作序列，且不依赖语言资源或任务特定的标注。该模型在单句导航任务上取得了最先进性能，在多句任务上也取得了具有竞争力的结果，即使在训练数据有限的情况下亦是如此。

ABSTRACT

We propose a neural sequence-to-sequence model for direction following, a task that is essential to realizing effective autonomous agents. Our alignment-based encoder-decoder model with long short-term memory recurrent neural networks (LSTM-RNN) translates natural language instructions to action sequences based upon a representation of the observable world state. We introduce a multi-level aligner that empowers our model to focus on sentence "regions" salient to the current world state by using multiple abstractions of the input sentence. In contrast to existing methods, our model uses no specialized linguistic resources (e.g., parsers) or task-specific annotations (e.g., seed lexicons). It is therefore generalizable, yet still achieves the best results reported to-date on a benchmark single-sentence dataset and competitive results for the limited-training multi-sentence setting. We analyze our model through a series of ablations that elucidate the contributions of the primary components of our model.

研究动机与目标

• 开发一种端到端的神经模型，将自由形式的自然语言指令映射为未知环境中的可执行动作序列。
• 消除对专用语言资源（如解析器、种子词典或重排序组件）的依赖。
• 通过利用输入表示的多个层次，提高指令词语与对应动作之间的对齐精度。
• 在基准导航数据集上实现优异性能，特别是在低数据设置下。
• 通过系统的消融实验分析关键模型组件的贡献。

提出的方法

• 使用双向LSTM-RNN编码器，从正向和反向两个方向捕捉输入导航指令的上下文表征。
• 采用带有注意力机制的解码器，根据当前世界状态聚焦于指令中显著的词语区域。
• 引入多级对齐机制，结合高层隐藏状态与原始输入词语，以提高指令标记与动作之间的对齐精度。
• 采用基于对齐的解码方式，上下文向量作为编码器状态的加权和，注意力权重端到端学习。
• 在原始指令-动作对上端到端训练模型，无需任何语言预处理或外部标注。
• 推理时使用贪婪解码（束宽为1），在不使用集成方法的情况下仍取得优异性能。

实验结果

研究问题

• RQ1 神经序列到序列模型是否能够在不使用解析器或词典等语言资源的情况下，将自然语言指令映射为动作序列？
• RQ2 与标准注意力机制相比，使用原始词语和隐藏表征的多级对齐机制在提升指令到动作对齐方面有何改进？
• RQ3 双向编码在建模长距离依赖关系和解决导航语言中的歧义方面有何贡献？
• RQ4 该模型在低数据设置下，特别是多句指令遵循任务中，效果如何？
• RQ5 模型中的哪些组件（如对齐机制、双向性、编码器）对性能贡献最大？

主要发现

• 在vTest单句导航任务上，该模型达到70.56%的准确率，创下新最先进水平，且未使用任何语言资源。
• 在仅使用数百个训练样本的多句任务中，该模型达到27.91%的准确率，优于多个使用语义解析器或重排序方法的先前模型。
• 多级对齐机制相比标准高层对齐机制进一步提升了性能，完整模型在单句评估中距离0时达到71.73%的准确率。
• 消融实验表明，双向编码显著提升了准确率，单向模型的性能明显低于完整模型。
• 移除对齐机制（使用均匀注意力）会降低性能，表明学习到的注意力机制对实现精确的词到动作对齐至关重要。
• 编码器为性能带来显著提升，无编码器的模型表现明显更差，凸显了上下文句子表征的重要性。