[论文解读] Graph Neural Networks for Text Classification: A Survey

Kunze Wang, Yihao Ding+1 more|arXiv (Cornell University)|Apr 23, 2023

Topic Modeling参考文献 140被引用 4

一句话总结

本综述全面概述了截至2023年的图神经网络（GNN）文本分类方法，将其分类为语料级和文档级GNN。分析了图构建技术、模型架构、基准性能，并识别出关键挑战与未来方向，包括与预训练模型的集成以及动态图结构。

ABSTRACT

Text Classification is the most essential and fundamental problem in Natural Language Processing. While numerous recent text classification models applied the sequential deep learning technique, graph neural network-based models can directly deal with complex structured text data and exploit global information. Many real text classification applications can be naturally cast into a graph, which captures words, documents, and corpus global features. In this survey, we bring the coverage of methods up to 2023, including corpus-level and document-level graph neural networks. We discuss each of these methods in detail, dealing with the graph construction mechanisms and the graph-based learning process. As well as the technological survey, we look at issues behind and future directions addressed in text classification using graph neural networks. We also cover datasets, evaluation metrics, and experiment design and present a summary of published performance on the publicly available benchmarks. Note that we present a comprehensive comparison between different techniques and identify the pros and cons of various evaluation metrics in this survey.

研究动机与目标

• 提供截至2023年发表的基于GNN的文本分类方法的全面、最新综述。
• 系统性地对语料级和文档级GNN模型进行分类与比较，包括子类别与架构洞察。
• 分析图构建机制，包括静态与动态边生成，及其对模型性能的影响。
• 总结公开可用的基准、评估指标及在20NG、R8、R52、Ohsumed和MR等数据集上的模型性能。
• 识别开放性挑战与未来研究方向，包括与预训练模型的集成以及归纳学习的可扩展性。

提出的方法

• 将基于GNN的文本分类分为两大范式：语料级GNN（全局、归纳式）与文档级GNN（局部、归纳式）。
• 回顾图构建技术，包括基于相似度、依存句法分析与注意力机制的边生成方法，适用于语料级与文档级图。
• 分析模型架构，如TG-Transformer、HyperGAT、TextING与TextSSL，重点关注消息传递机制与图池化策略。
• 使用准确率、F1与宏F1等标准指标，对比在20NG、R8、R52、Ohsumed与MR等广泛使用的基准上的模型性能。
• 评估外部资源（如GloVe、BERT、RoBERTa）对模型准确率与泛化能力的影响。
• 讨论现有方法的局限性，包括对静态边的依赖以及语料级GNN中的可扩展性问题，并提出动态与异构图扩展方案。

实验结果

研究问题

• RQ1 语料级与文档级GNN在文本分类中的图构建与学习机制上存在哪些差异？
• RQ2 在基于GNN的文本分类中，使用预训练词嵌入（如GloVe）与大型语言模型（如BERT）对性能有何影响？
• RQ3 为何语料级GNN在主题分类数据集上通常优于文档级GNN，但在情感分析数据集（如MR）上则不然？
• RQ4 在GNN用于文本分类时，图构建的关键挑战是什么，特别是关于边的动态性与超图建模？
• RQ5 如何有效结合GNN与预训练模型及归纳学习，以提升可扩展性与实际部署能力？

主要发现

• 语料级GNN模型采用归纳学习与全局图结构，在20NG、R8与R52等主题分类数据集上通常优于文档级GNN模型。
• 在MR情感分析数据集上，文档级GNN模型表现与语料级模型相当或更优，原因在于其能更好地捕捉词序信息，而语料级模型往往难以建模此类依赖。
• 采用BERT或RoBERTa的模型达到最先进性能，其中TextING在R8上达到98.13%准确率，在MR上达到80.19%，显著优于基于GloVe的模型。
• 使用GloVe嵌入的语料级GNN在20NG上达到97.93%准确率，而文档级模型如TextING在相同数据集上达到97.8%，表明即使无预训练，性能依然强劲。
• 在图构建中使用动态边或超边可改善对复杂词与文档关系的建模，但目前大多数模型仍依赖静态、基于统计的边。
• 尽管性能优异，语料级GNN因内存需求大且缺乏增量训练支持，在可扩展性与部署方面面临挑战，凸显了对更高效归纳变体的迫切需求。