[论文解读] An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures

Hamidreza Ghader, Christof Monz|arXiv (Cornell University)|Jul 8, 2019

Natural Language Processing Techniques参考文献 14被引用 4

一句话总结

本文通过分析Transformer和循环神经网络架构中编码器隐藏状态的最近邻，对神经机器翻译模型进行了内在分析。结果表明，尽管Transformer在捕捉词汇语义方面表现优异，但在建模句法结构方面并非始终更优；双向RNN在前向和后向层中对语义和上下文的编码方式也存在差异。

ABSTRACT

Earlier approaches indirectly studied the information captured by the hidden states of recurrent and non-recurrent neural machine translation models by feeding them into different classifiers. In this paper, we look at the encoder hidden states of both transformer and recurrent machine translation models from the nearest neighbors perspective. We investigate to what extent the nearest neighbors share information with the underlying word embeddings as well as related WordNet entries. Additionally, we study the underlying syntactic structure of the nearest neighbors to shed light on the role of syntactic similarities in bringing the neighbors together. We compare transformer and recurrent models in a more intrinsic way in terms of capturing lexical semantics and syntactic structures, in contrast to extrinsic approaches used by previous works. In agreement with the extrinsic evaluations in the earlier works, our experimental results show that transformers are superior in capturing lexical semantics, but not necessarily better in capturing the underlying syntax. Additionally, we show that the backward recurrent layer in a recurrent model learns more about the semantics of words, whereas the forward recurrent layer encodes more context.

研究动机与目标

• 提供对神经机器翻译模型的内在分析，重点关注其隐藏状态中编码的信息。
• 研究在Transformer和循环模型中，隐藏状态的最近邻在多大程度上捕捉了词汇语义和句法结构。
• 通过比以往外在评估更直接的内在方法，比较Transformer和循环模型在编码语义和句法方面的相对优势。
• 探讨句法相似性在聚类最近邻中的作用，理解句法结构如何影响表征聚类。

提出的方法

• 使用隐藏状态空间中的余弦相似度，识别编码器隐藏状态的最近邻。
• 通过语义相似性度量，分析邻居与其底层词嵌入之间的词汇相似性。
• 通过将邻居与WordNet相关条目进行比较，评估其语义相关性，以衡量词汇语义的捕捉程度。
• 使用词性标注和依存句法分析，评估最近邻的句法结构，以检验句法一致性。
• 比较双向RNN中前向和后向循环层，以确定语义和上下文编码的差异。
• 采用内在评估方法，直接探测隐藏表征，避免依赖下游分类器的性能。

实验结果

研究问题

• RQ1 隐藏状态的最近邻在多大程度上与输入词嵌入共享词汇语义？
• RQ2 最近邻在多大程度上反映了句法结构？句法相似性在邻居形成过程中扮演什么角色？
• RQ3 通过内在分析，Transformer与循环模型在捕捉词汇语义和句法结构方面有何差异？
• RQ4 在语义和上下文编码方面，前向和后向循环层的功能差异是什么？

主要发现

• Transformer在捕捉词汇语义方面优于循环模型，表现为邻居与词嵌入之间的相似性更高。
• 尽管在语义方面表现更优，但Transformer在捕捉底层句法结构方面并未始终优于循环模型。
• 双向RNN的后向循环层对输入词的语义信息编码更多，而前向层则捕捉了更多的上下文依赖。
• 最近邻表现出显著的句法一致性，表明句法相似性在隐藏状态空间中邻居分组中起到了作用。
• 内在分析表明，句法结构在决定哪些隐藏状态为最近邻方面具有可测量的作用。
• 结果与先前的外在评估一致，但为不同架构的内在表征特性提供了更深入的洞察。