[论文解读] Equation Embeddings

Kriste Krstovski, David M. Blei|arXiv (Cornell University)|Mar 24, 2018

Mathematics, Computing, and Information Processing参考文献 13被引用 4

一句话总结

本文提出方程嵌入（EqEmb），一种无监督方法，通过将方程建模为上下文中的单一实体，学习其分布式表示。通过利用词-方程上下文窗口和指数族嵌入，EqEmb在捕捉方程与词语之间的语义相似性方面优于现有词嵌入模型，在四个计算机科学领域中的定量与定性评估中均表现出更优性能。

ABSTRACT

We present an unsupervised approach for discovering semantic representations of mathematical equations. Equations are challenging to analyze because each is unique, or nearly unique. Our method, which we call equation embeddings, finds good representations of equations by using the representations of their surrounding words. We used equation embeddings to analyze four collections of scientific articles from the arXiv, covering four computer science domains (NLP, IR, AI, and ML) and $\sim$98.5k equations. Quantitatively, we found that equation embeddings provide better models when compared to existing word embedding approaches. Qualitatively, we found that equation embeddings provide coherent semantic representations of equations and can capture semantic similarity to other equations and to words.

研究动机与目标

• 开发一种无监督方法，以学习数学方程的有意义语义表示，这些方程通常具有唯一性且难以建模。
• 通过将方程视为更广泛文本上下文中的单一词，解决方程唯一性带来的挑战。
• 通过将方程整合到分布式表示框架中，提升科学文献分析中的建模效率与语义一致性。
• 通过学习到的嵌入实现方程之间以及方程与词语之间的语义相似性检测。

提出的方法

• EqEmb将方程视为仅出现一次的单一实体，利用其周围的文本上下文推断其语义表示。
• 它将指数族嵌入（特别是伯努利嵌入）扩展至包含方程作为观测值，为其分配独立的嵌入向量与上下文向量。
• 该方法使用双重视野：词上下文窗口（大小为4–16）和词-方程上下文窗口（大小为8–16），以捕捉词级与方程级的共现模式。
• 方程单元——变量、符号和运算符——被建模为方程内的离散元素，从而实现对方程语法的结构化表示。
• 模型通过负采样优化伪对数似然，使用梯度下降更新嵌入，以最大化给定方程时上下文词的条件似然，反之亦然。
• EqEmb-U通过将方程建模为单元序列，进一步提升了性能，实现了对词与方程组件的更丰富上下文建模。

实验结果

研究问题

• RQ1 能否通过周围文本上下文，将方程有效表示为单一实体，以学习有意义的语义嵌入？
• RQ2 与现有词嵌入模型（如CBOW、GloVe、PV-DM）相比，方程嵌入在建模方程与词语之间语义相似性方面表现如何？
• RQ3 方程嵌入能否捕捉方程之间的有意义语义关系，例如同一领域内与其他方程的相似性？
• RQ4 将方程建模为单元序列（变量、符号、运算符）是否能提升所学表示的质量？

主要发现

• 在所有四个arXiv数据集（NLP、IR、AI、ML）中，EqEmb在伪对数似然评估中均优于现有词嵌入模型（CBOW、GloVe、PV-DM和b-emb）。
• 通过将方程建模为单元序列而改进的EqEmb-U版本，在性能上进一步超越基础版EqEmb模型。
• 该模型成功检索出语义相关的方程与词语：对于给定方程，其嵌入空间中最近的五个词语在语义上相关（例如，'neural network'、'layer'、'forward pass'）。
• 对于查询方程，EqEmb-U能检索出五个语义相似的方程，如其他神经网络层的表达形式，展示了连贯的语义聚类。
• 定性分析证实，EqEmb能够捕捉方程之间的有意义语义关系，例如识别与注意力机制或反向传播相关的方程。
• 该方法支持通过自然语言查询实现有效的方程搜索：使用词语查询，可通过嵌入空间中的余弦相似度检索到相关方程。