[论文解读] Latent Attention For If-Then Program Synthesis

Xinyun Chen, Chang Liu+3 more|arXiv (Cornell University)|Nov 7, 2016

Parallel Computing and Optimization Techniques参考文献 21被引用 35

一句话总结

本文提出了一种名为潜在注意力（Latent Attention）的新神经架构，通过在两阶段过程中学习乘法注意力权重，以更好地捕捉句法结构，从而提升从自然语言生成If-Then程序的性能。与之前的工作相比，错误率降低了28.57%，并通过基于词典的嵌入和两步训练策略，实现了对罕见函数的有效零样本学习。

ABSTRACT

Automatic translation from natural language descriptions into programs is a longstanding challenging problem. In this work, we consider a simple yet important sub-problem: translation from textual descriptions to If-Then programs. We devise a novel neural network architecture for this task which we train end-to-end. Specifically, we introduce Latent Attention, which computes multiplicative weights for the words in the description in a two-stage process with the goal of better leveraging the natural language structures that indicate the relevant parts for predicting program elements. Our architecture reduces the error rate by 28.57% compared to prior art. We also propose a one-shot learning scenario of If-Then program synthesis and simulate it with our existing dataset. We demonstrate a variation on the training procedure for this scenario that outperforms the original procedure, significantly closing the gap to the model trained with all data.

研究动机与目标

• 提升将自然语言描述转化为If-Then程序的准确性，这是程序合成中的一个关键挑战。
• 解决在程序生成的序列到序列学习中建模多样化词汇和句子结构的困难。
• 在仅使用极少训练样本的情况下，实现对罕见触发或动作函数的有效零样本学习。
• 设计一种注意力机制，以更好地捕捉自然语言描述中的句法依赖关系，从而提升程序元素的预测性能。

提出的方法

• 提出潜在注意力（Latent Attention），一种两阶段注意力机制，通过计算标记权重来突出对预测触发和动作函数相关的关键词。
• 使用双向LSTM对输入描述进行编码，随后通过潜在注意力层计算动态、上下文感知的注意力权重。
• 采用两步训练流程：首先使用代理目标训练注意力权重，然后端到端微调完整模型。
• 将基于词典的嵌入与潜在注意力结合，以提升在零样本学习场景下对罕见函数的泛化能力。
• 应用一种改进的训练策略用于零样本学习，其性能优于标准方法和朴素的两步方法。
• 采用基于频率的参数生成方法，将核心任务简化为函数预测，而将参数生成推迟到附录中处理。

实验结果

研究问题

• RQ1 与标准注意力相比，两阶段注意力机制是否能提升If-Then程序生成中的程序合成准确性？
• RQ2 潜在注意力在从自然语言中预测触发和动作函数时，是否能有效捕捉句法结构？
• RQ3 在仅有一个或少数几个训练样本的零样本学习场景下，模型能否对罕见函数实现良好泛化？
• RQ4 潜在注意力的两步训练流程在准确性和对少数类函数的鲁棒性方面，是否优于标准训练和朴素两步训练？

主要发现

• 与先前最先进模型[3]相比，潜在注意力模型将错误率降低了28.57%，在触发和动作预测任务上达到87.5%的准确率。
• 表现最佳的模型（使用词典+潜在注意力并采用两步训练）在仅使用15.73%完整训练数据的倾斜数据集上，触发函数任务的准确率达到82.71%。
• 在少数类函数（非前100名）上，词典+潜在注意力模型在相同倾斜训练设置下达到64.84%的准确率，显著优于标准训练和朴素两步训练方法。
• 当在SkewTop100数据集上训练时，模型在少数类函数的黄金测试集上达到78.57%的准确率，而全量数据集上为85.12%，表明其具备强大的少样本泛化能力。
• 实证分析表明，潜在注意力能正确地为介词和标点符号（如‘,’和‘>’）分配高权重，表明其对句法线索具有敏感性，但有时未能将语义关键短语（如‘of me’）与相关函数正确关联。
• 在需要外部知识的场景中（如Instagram仅包含照片），词典+潜在注意力模型无法泛化，而BDLSTM+LA变体由于具备更好的上下文建模能力而表现成功。