[论文解读] Graph Neural Networks for Natural Language Processing: A Survey

Lingfei Wu, Yu Chen+6 more|arXiv (Cornell University)|Jun 10, 2021

Topic Modeling参考文献 421被引用 68

一句话总结

本综述提供了对图神经网络（GNN）在自然语言处理领域的全面分类法与综述，覆盖图构建、表征学习、编码器-解码器模型、应用、数据集与未来方向。

ABSTRACT

Deep learning has become the dominant approach in coping with various tasks in Natural LanguageProcessing (NLP). Although text inputs are typically represented as a sequence of tokens, there isa rich variety of NLP problems that can be best expressed with a graph structure. As a result, thereis a surge of interests in developing new deep learning techniques on graphs for a large numberof NLP tasks. In this survey, we present a comprehensive overview onGraph Neural Networks(GNNs) for Natural Language Processing. We propose a new taxonomy of GNNs for NLP, whichsystematically organizes existing research of GNNs for NLP along three axes: graph construction,graph representation learning, and graph based encoder-decoder models. We further introducea large number of NLP applications that are exploiting the power of GNNs and summarize thecorresponding benchmark datasets, evaluation metrics, and open-source codes. Finally, we discussvarious outstanding challenges for making the full use of GNNs for NLP as well as future researchdirections. To the best of our knowledge, this is the first comprehensive overview of Graph NeuralNetworks for Natural Language Processing.

研究动机与目标

• 提出一个新的针对NLP的GNN分类法，将研究分为图构建、图表示学习以及基于图的编码器-解码器模型。
• 总结面向多样NLP任务的最先进GNN方法，详细比较图构建与学习技术。
• 提供利用GNN的NLP应用清单，包括数据集、评估指标和开源代码。
• 讨论突出挑战并概述在NLP中充分利用GNN的未来研究方向。

提出的方法

• 引入一个覆盖四个维度的NLP GNN分类法：图构建、图表示学习、编码器-解码器模型以及应用。
• 回顾用于NLP任务的图构建方法，包括静态图和动态图。
• 综述图表示学习技术，详细介绍谱域、时空、注意力为基础以及递归图过滤器。
• 描述基于图的编码器-解码器模型，如 graph2seq、graph2tree 和 graph2graph，以及它们在NLP中的适用性。
• 总结NLP应用、基准数据集、评估指标以及可用的开源代码。
• 讨论挑战并提出在NLP中改进图构建、学习和模型有效性的未来研究方向。

Figure 1: The taxonomy, which systematically organizes GNNs for NLP along four axes: graph construction, graph representation learning, encoder-decoder models, and the applications.

实验结果

研究问题

• RQ1 在不同NLP任务中，哪些图构建最为有效，以及如何将文本数据转化为信息丰富的图结构？
• RQ2 哪些GNN变体和图过滤器最适合不同的图结构（静态/动态图、有向/无向、多关系、异质）以解决NLP问题？
• RQ3 如何将基于图的编码器和解码器（graph2seq、graph2tree、graph2graph）最优地应用于多样的NLP任务，哪些数据集和评估指标最能体现它们的性能？
• RQ4 将GNN应用于NLP时的关键挑战和开放研究方向是什么，未来工作应如何应对。

主要发现

• 本文首次对应用于自然语言处理的图神经网络提供了全面的概述。
• 它提供了关于图构建、表示学习以及基于图的编码器-解码器模型在NLP中的详细分类法与对比讨论。
• 它汇编了大量NLP应用、基准数据集、评估指标以及开源代码。
• 它讨论了自动图构建的实际挑战、适用于不同图类型的GNN变体，以及对复杂NLP数据的建模。
• 它概述了未来的研究方向和推动GNNs在NLP中应用的机会。

Figure 2: An example is shown for the dependency graph (left) and the constituency graph (right), respectively. The text input is from JOBS640 (Luke, 2005 ) dataset.