[论文解读] Mapping Natural-language Problems to Formal-language Solutions Using Structured Neural Representations

Kezhen Chen, Qiuyuan Huang+4 more|arXiv (Cornell University)|Oct 5, 2019

Parallel Computing and Optimization Techniques被引用 16

一句话总结

本文提出 TP-N2F，一种新颖的神经编码器-解码器模型，通过在编码器中显式利用张量积表示（TPR）绑定来编码符号结构，在解码器中通过 TPR 解绑生成结构化程序，从而将自然语言问题映射为形式化语言程序。该模型在两个 N2F 基准测试上达到最先进性能，优于基于 LSTM 的模型，并通过学习到的结构化表示提升了可解释性。

ABSTRACT

Generating formal-language programs represented by relational tuples, such as Lisp programs or mathematical operations, to solve problems stated in natural language is a challenging task because it requires explicitly capturing discrete symbolic structural information implicit in the input. However, most general neural sequence models do not explicitly capture such structural information, limiting their performance on these tasks. In this paper, we propose a new encoder-decoder model based on a structured neural representation, Tensor Product Representations (TPRs), for mapping Natural-language problems to Formal-language solutions, called TP-N2F. The encoder of TP-N2F employs TPR `binding' to encode natural-language symbolic structure in vector space and the decoder uses TPR `unbinding' to generate, in symbolic space, a sequential program represented by relational tuples, each consisting of a relation (or operation) and a number of arguments. TP-N2F considerably outperforms LSTM-based seq2seq models on two benchmarks and creates new state-of-the-art results. Ablation studies show that improvements can be attributed to the use of structured TPRs explicitly in both the encoder and decoder. Analysis of the learned structures shows how TPRs enhance the interpretability of TP-N2F.

研究动机与目标

• 解决将需要显式符号结构的自然语言问题映射为形式化语言解决方案的挑战。
• 通过整合捕捉关系信息的结构化符号表示，改进神经序列模型。
• 开发一种通用神经架构，能够学习结构到结构的映射以实现程序合成。
• 通过使用 TPR 显式建模符号结构，提升深度学习模型的可解释性。
• 证明在编码器-解码器框架中结合 TPR 绑定与解绑操作，可显著提升符号推理任务的性能。

提出的方法

• 该模型采用张量积表示（TPR）在编码器中通过 TPR '绑定'操作对自然语言输入中的符号结构进行编码。
• 编码器将自然语言输入映射为向量空间表示，通过角色-填充绑定关系结构保留其关联性。
• 解码器通过 TPR '解绑'操作从输出向量空间中提取符号组件——关系与参数，以生成形式化语言程序作为关系元组序列。
• 该模型通过端到端的序列到序列学习，将结构化输入表示映射为结构化输出表示进行训练。
• TP-N2F 在单一架构中整合了 TPR 绑定与解绑操作，使编码与解码阶段均能显式学习结构。
• 该模型在两个基准测试上进行评估：AlgoLisp 和 MathQA，采用准确率、50% 准确率和平均准确率指标。

实验结果

研究问题

• RQ1 基于 TPR 的结构化表示能否提升神经模型在自然语言到形式语言生成任务中的性能？
• RQ2 通过 TPR 绑定与解绑显式建模符号结构，是否能增强深度学习模型的可解释性？
• RQ3 在编码器与解码器中整合 TPR 对程序合成中复杂关系结构的学习有何影响？
• RQ4 TPR 基于模型在符号推理任务中相对于标准序列到序列模型（如 LSTM）的性能优势有多大？
• RQ5 该模型能否在无显式监督的情况下发现语义上合理的操作与关系聚类？

主要发现

• 在 AlgoLisp 数据集上，TP-N2F 达到最先进性能，清洁测试集准确率达 93.48%，50p-Acc 达 94.64%，超越所有先前模型。
• 在 MathQA 数据集上，TP-N2F 实现 93.06% 的平均准确率和 92.78% 的清洁测试集准确率，创下新的 SOTA 结果。
• 消融实验表明，解码器中 TPR 解绑的使用对性能提升的贡献大于编码器中绑定的贡献，表明模型对结构化输出生成的依赖更强。
• 该模型成功生成更长的程序——例如，正确生成了包含 55 个元组的程序，而基于 LSTM 的模型则失败。
• 对学习到的角色与填充物的可视化显示，语义相似的词语（如 'add'、'increment'）被分配相同的填充向量，且结构角色（如目标、所需信息）被一致学习。
• 解码器中的解绑向量形成语义连贯的聚类：算术运算符与几何函数聚集在一起，表明模型在无显式监督下学习到了有意义的操作语义。