[论文解读] Learning a natural-language to LTL executable semantic parser for grounded robotics

Christopher Wang, Candace Ross+3 more|arXiv (Cornell University)|Aug 7, 2020

Natural Language Processing Techniques被引用 6

一句话总结

本文提出了一种弱监督的、基于语境的语义解析器，通过仅使用句子-轨迹配对和一个LTL执行器，学习将自然语言指令映射为可执行的线性时序逻辑（LTL）公式。通过结合输入重建生成器、行为验证执行器以及句法约束，该模型在无需人工标注LTL公式的情况下，发现了潜在的语言结构，在机器生成和人类生成的指令上均实现了约80%的执行准确率，尽管输入中存在较高的词汇和句法差异。

ABSTRACT

Children acquire their native language with apparent ease by observing how language is used in context and attempting to use it themselves. They do so without laborious annotations, negative examples, or even direct corrections. We take a step toward robots that can do the same by training a grounded semantic parser, which discovers latent linguistic representations that can be used for the execution of natural-language commands. In particular, we focus on the difficult domain of commands with a temporal aspect, whose semantics we capture with Linear Temporal Logic, LTL. Our parser is trained with pairs of sentences and executions as well as an executor. At training time, the parser hypothesizes a meaning representation for the input as a formula in LTL. Three competing pressures allow the parser to discover meaning from language. First, any hypothesized meaning for a sentence must be permissive enough to reflect all the annotated execution trajectories. Second, the executor -- a pretrained end-to-end LTL planner -- must find that the observe trajectories are likely executions of the meaning. Finally, a generator, which reconstructs the original input, encourages the model to find representations that conserve knowledge about the command. Together these ensure that the meaning is neither too general nor too specific. Our model generalizes well, being able to parse and execute both machine-generated and human-generated commands, with near-equal accuracy, despite the fact that the human-generated sentences are much more varied and complex with an open lexicon. The approach presented here is not specific to LTL: it can be applied to any domain where sentence meanings can be hypothesized and an executor can verify these meanings, thus opening the door to many applications for robotic agents.

研究动机与目标

• 通过观察语言在上下文中的使用，使机器人能够学习自然语言指令的语义，模仿人类的语言习得过程。
• 解决在无需手动标注LTL公式的情况下，解析需要线性时序逻辑（LTL）语义的时序复杂指令的挑战。
• 开发一种通用框架，从极少量监督中学习可执行的意义表示，适用于不同领域和形式化语言。
• 评估模型对多样化、开放词汇的人类生成指令的泛化能力，这些指令可能与形式化语言不完全匹配。
• 探索模型是否能仅通过执行结果的弱监督和规划器，发现潜在的语言结构并生成可执行的指令。

提出的方法

• 该解析器为每个输入句子生成一个作为语义表示的LTL公式，且受句法有效性约束。
• 一个预训练的端到端LTL规划器（执行器）评估在假设的LTL公式下，所观察到的机器人轨迹是否可能成立。
• 一个序列到序列的生成器从LTL公式中重建原始句子，以促进知识保留和语义保真度。
• 通过联合损失函数进行模型训练，该损失函数结合了句法有效性、执行可能性和重建准确率。
• 三种相互竞争的压力——对观察轨迹的覆盖、在执行器下的行为合理性，以及重建保真度——引导模型避免过度或不足指定。
• 该方法具有模块化设计：通过替换先验（LTL）和执行器，可轻松适配其他形式化语言，同时保持其余架构不变。

实验结果

研究问题

• RQ1 语义解析器是否能在无人工标注LTL监督的情况下，学习将自然语言指令映射为可执行的LTL公式？
• RQ2 该模型在语法和词汇多样的人类生成、开放词汇指令上的泛化能力如何？
• RQ3 当形式化语言无法完全捕捉输入语言时，模型在在多大程度上能发现潜在的语言结构？
• RQ4 与监督基线相比，执行反馈、重建和句法约束的组合在多大程度上提升了学习效果？
• RQ5 尽管缺乏显式的语言或领域特定知识，该模型是否能在真实世界、非结构化的自然语言上实现高执行准确率？

主要发现

• 该模型在机器生成和人类生成的指令上均实现了约80%的执行准确率，表明其在人类输入存在高度词汇和句法差异的情况下仍具备强大的泛化能力。
• 在机器生成的数据集上，该模型达到80%的执行准确率，略低于完全监督方法的95%，但无需真实LTL标注。
• 监督模型与弱监督模型之间的性能差距仅为5–10%的执行准确率，表明弱监督范式具有很强的有效性。
• 生成器组件使性能提升了1–4%，IML+生成器配置成为表现最佳的设置。
• 即使每条句子仅提供3个示例，模型仍能达到80%的执行准确率；当示例数增至7个时，公式完全匹配率从2%提升至14%，表明其对数据稀缺具有鲁棒性。
• 尽管形式化语言存在局限，该模型在测试环境中仍成功解析并执行了约43%的人类生成指令，接受率达80%，表明其对语言多样性的强适应能力。