[论文解读] Graph Convolutional Networks based Word Embeddings.

Shikhar Vashishth, Prateek Yadav+4 more|arXiv (Cornell University)|Sep 12, 2018

Natural Language Processing Techniques被引用 3

一句话总结

该论文提出 SynGCN，一种基于图卷积网络的方法，利用句法（依存）结构学习词嵌入，且不增加词汇量，在内在和外在的自然语言处理任务中均优于现有方法。此外，该研究进一步提出 SemGCN，整合多种语义知识，提升表示质量，相关代码已公开发布，以支持可复现性。

ABSTRACT

Word embeddings have been widely adopted across several NLP applications. Most existing word embedding methods utilize sequential context of a word to learn its embedding. While there have been some attempts at utilizing syntactic context of a word, such methods result in an explosion of the vocabulary size. In this paper, we overcome this problem by proposing SynGCN, a flexible Graph Convolution based method for learning word embeddings. SynGCN utilizes the dependency context of a word without increasing the vocabulary size. Word embeddings learned by SynGCN outperform existing methods on various intrinsic and extrinsic tasks and provide an advantage when used with ELMo. We also propose SemGCN, an effective framework for incorporating diverse semantic knowledge for further enhancing learned word representations. We make the source code of both models available to encourage reproducible research.

研究动机与目标

• 解决现有词嵌入方法仅依赖顺序上下文、未能有效整合句法结构的局限性。
• 通过利用图卷积网络，克服基于句法的词嵌入方法中词汇量爆炸的问题。
• 开发一种灵活的框架，将句法和语义知识整合到词表示中，且不增加词汇量。
• 通过所提出的模型提升内在和外在自然语言处理评估任务的性能。
• 通过公开 SynGCN 和 SemGCN 的源代码，支持可复现研究。

提出的方法

• SynGCN 为每个句子构建依存图，将词语表示为节点，句法依存关系表示为边。
• 应用图卷积网络（GCNs）聚合句法邻居的上下文信息，学习上下文相关的词嵌入。
• 通过不引入新词形，该方法保持原始词汇量大小，与先前的句法方法不同。
• SemGCN 在 SynGCN 的基础上，将外部语义知识源（如 WordNet、ConceptNet）整合到图结构中。
• 通过多源图聚合方式整合语义知识，为词表示注入更广泛的语义上下文。
• 两种模型均使用标准自然语言处理损失函数进行端到端训练，性能在标准基准上进行评估。

实验结果

研究问题

• RQ1 图卷积网络能否在不增加词汇量的前提下，有效捕捉词嵌入中的句法上下文？
• RQ2 与仅依赖顺序上下文相比，整合依存结构在多大程度上提升了词表示质量？
• RQ3 当通过基于图的方法整合外部语义知识时，语义知识在多大程度上能增强词嵌入？
• RQ4 所提出的方法是否在内在和外在评估任务中优于现有的最先进词嵌入模型？
• RQ5 SynGCN 和 SemGCN 能否与 ELMo 等上下文模型有效结合，进一步提升性能？

主要发现

• SynGCN 在多个内在评估任务（如类比推理和词相似度）中达到最先进性能，且未扩展词汇量。
• 在文本分类和命名实体识别等下游外在任务中，该模型相较于 Skip-gram 和 GloVe 等强基线模型表现出一致的性能提升。
• 与 ELMo 结合后，基于 SynGCN 的嵌入进一步提升性能，表明其与上下文模型具有良好的兼容性和协同效应。
• SemGCN 通过整合多样化的语义知识源，显著提升了表示质量，使内在和外在基准上的性能均得到改善。
• 消融实验确认，句法结构和外部语义知识均对最终嵌入具有显著贡献。
• 代码的开源确保了可复现性，并支持未来在基于图的词表示学习方向的研究。