[论文解读] Analogs of Linguistic Structure in Deep Representations

Jacob Andreas, Dan Klein|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 15被引用 3

一句话总结

本文通过使用自然语言作为探针，研究深度神经网络表征中的组合结构，以识别向量空间中诸如否定、并列和析取等可解释的语言类比。通过基于真值条件语义将神经消息向量与人类指称表达对齐，作者发现表征空间中的线性变换对应于逻辑运算，表明RNN在无语言监督的情况下自发发展出类似语法的结构。

ABSTRACT

We investigate the compositional structure of message vectors computed by a deep network trained on a communication game. By comparing truth-conditional representations of encoder-produced message vectors to human-produced referring expressions, we are able to identify aligned (vector, utterance) pairs with the same meaning. We then search for structured relationships among these aligned pairs to discover simple vector space transformations corresponding to negation, conjunction, and disjunction. Our results suggest that neural representations are capable of spontaneously developing a "syntax" with functional analogues to qualitative properties of natural language.

研究动机与目标

• 调查在无语言数据训练下，深度神经网络是否在其表征中发展出组合性、类语言结构。
• 确定神经消息向量是否能基于共享的真值条件，与人类生成的指称表达对齐。
• 发现并验证表征空间中对应于否定、并列和析取等逻辑运算的几何变换。
• 探索这些变换是否为线性且可解释，使用自然语言作为语义结构的探针。

提出的方法

• 在指称表达游戏上训练一个RNN编码器-解码器模型，以生成无语言数据访问的message向量。
• 使用真值条件语义计算人类生成的指称表达及其逻辑形式的指称。
• 通过匹配其指称，将神经消息向量与人类语句对齐，从而获得语义等价的（向量，语句）对。
• 通过最小二乘估计学习表征空间中的线性变换，以建模逻辑运算：否定、并列和析取。
• 通过测试变换后的向量在测试数据上是否产生与逻辑预期一致的预测，来评估学习到的算子。
• 使用主成分分析可视化这些变换在向量空间中的几何结构。

实验结果

研究问题

• RQ1 在零样本通信任务中，神经表征是否能自发发展出类自然语言语法的功能类比？
• RQ2 表征空间中的线性变换是否对应于否定、并列和析取等逻辑运算？
• RQ3 这些学习到的变换在未见样本上的泛化能力如何，与人类逻辑预期相比表现如何？
• RQ4 自然语言在在多大程度上可作为探针，用于解释神经表征的语义？

主要发现

• 该模型在对象级指称上与人类判断的吻合度达到90%，即使在训练上下文之外也成立，表明人类与模型行为之间具有强对齐性。
• 否定的线性变换在对象级达到97%的逻辑预测吻合度，在完整指称级达到45%，表明其高度有效。
• 对于析取，模型在对象级达到92%的吻合度，在指称级达到19%，表明存在部分但可检测的结构。
• 对于并列，模型在对象级达到90%的吻合度，在指称级达到37%，表明存在可测量但不够精确的对齐。
• 可视化结果证实，否定变换对应于向量空间中关于中心点的镜像，表明存在几何规律性。
• 结果表明，仅通过环境信号训练的RNN可在其表征中发展出可解释的、类语言的组合结构。