[论文解读] Learning Continuous Semantic Representations of Symbolic Expressions

Miltiadis Allamanis, Pankajan Chanthirasegaran+2 more|arXiv (Cornell University)|Nov 4, 2016

Topic Modeling参考文献 20被引用 44

一句话总结

本文提出神经等价网络（EqNet），一种深度学习架构，可为符号表达式学习连续的语义向量表示（SemVecs），使语义等价但句法不同的表达式映射到相似的向量。EqNet通过利用基于等价类的训练和子表达式自编码，强化语义聚类，在多种代数和布尔表达式上的符号等价性任务中，优于现有模型如TreeNN和RNNs。

ABSTRACT

Combining abstract, symbolic reasoning with continuous neural reasoning is a grand challenge of representation learning. As a step in this direction, we propose a new architecture, called neural equivalence networks, for the problem of learning continuous semantic representations of algebraic and logical expressions. These networks are trained to represent semantic equivalence, even of expressions that are syntactically very different. The challenge is that semantic representations must be computed in a syntax-directed manner, because semantics is compositional, but at the same time, small changes in syntax can lead to very large changes in semantics, which can be difficult for continuous neural architectures. We perform an exhaustive evaluation on the task of checking equivalence on a highly diverse class of symbolic algebraic and boolean expression types, showing that our model significantly outperforms existing architectures.

研究动机与目标

• 为解决学习符号表达式连续语义表示（SemVecs）的挑战，使其对句法变化保持不变。
• 开发一种神经架构，能够捕捉组合语义，同时对引起大语义变化的小句法变化具有鲁棒性。
• 基于语义等价类而非成对比较制定训练目标，以提升语义向量的泛化能力和聚类效果。
• 在涵盖代数和布尔表达式的多样化基准上评估模型，证明其在性能上优于现有架构。
• 为在人工智能、编程语言和自动推理系统中整合连续神经推理与符号推理奠定基础。

提出的方法

• EqNet使用基于句法指导的、类似残差的多层网络，递归地从子表达式组合语义向量，保留组合语义。
• 模型采用基于等价类的目标函数进行训练，以鼓励同一语义等价类中表达式的表示保持一致。
• 引入子表达式自编码（SubexpAe），以确保每个子表达式的表示可从其句法邻接部分预测并可逆，从而促进等价类内的紧密聚类。
• 该架构避免使用池化层，直接为每个表达式生成单一向量表示，支持语义嵌入的端到端学习。
• 网络在已知语义等价的表达对上进行训练，使用对比损失最小化等价表达式之间的距离，同时最大化非等价表达式之间的距离。
• 该方法支持多项式与布尔表达式，重点在于处理句法多样性，同时保持语义保真度。

实验结果

研究问题

• RQ1 神经网络能否学习到对句法变化保持不变、同时保留组合语义的符号表达式连续语义表示？
• RQ2 深度学习模型如何有效捕捉由符号表达式中微小句法修改引发的大语义变化？
• RQ3 基于等价类的训练在多大程度上能改善连续向量空间中语义等价表达式的聚类效果？
• RQ4 所提出的子表达式自编码机制如何提升所学语义向量的质量与鲁棒性？
• RQ5 EqNet能否在包括多项式和布尔表达式在内的多样化符号表达式类型上，优于现有架构如TreeNN或RNNs？

主要发现

• EqNet在涵盖多种代数和布尔表达式的符号表达式等价性检测任务中，显著优于当前最先进模型如TreeNN和RNNs。
• 该模型通过基于等价类的训练实现卓越性能，该方法强制实现传递性语义关系，并改善了SemVecs的聚类效果。
• 子表达式自编码通过使子表达式向量可预测且可逆，提升了表示质量，从而在等价类内实现更紧密的聚类。
• 该架构即使在句法相似性具有误导性的场景下（如仅符号或项顺序不同）也能成功捕捉语义等价性。
• 实证结果表明，EqNet的表示对句法变化具有鲁棒性，并保持了高语义保真度，体现在学习到的向量空间中呈现出清晰的聚类模式。
• 该方法在表达式类型间表现出强大的泛化能力，包括对TreeNN等简单架构构成挑战的复杂多项式和布尔表达式。