[论文解读] ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for Semi-supervised Text Classification

Kunze Wang, Soyeon Caren Han+2 more|arXiv (Cornell University)|Apr 10, 2022

Text and Document Classification Technologies被引用 6

一句话总结

ME-GCN 提出了一种新颖的图卷积网络，利用从语料库训练得到的词和文档嵌入所衍生的多维边特征，以增强半监督文本分类。通过将边特征的每一维视为图卷积中的独立通道，ME-GCN 在八个基准数据集上均超越了当前最先进方法，尤其在低标签设置下表现优异，展现出在极少标注数据下的卓越性能。

ABSTRACT

Compared to sequential learning models, graph-based neural networks exhibit excellent ability in capturing global information and have been used for semi-supervised learning tasks. Most Graph Convolutional Networks are designed with the single-dimensional edge feature and failed to utilise the rich edge information about graphs. This paper introduces the ME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks) for semi-supervised text classification. A text graph for an entire corpus is firstly constructed to describe the undirected and multi-dimensional relationship of word-to-word, document-document, and word-to-document. The graph is initialised with corpus-trained multi-dimensional word and document node representation, and the relations are represented according to the distance of those words/documents nodes. Then, the generated graph is trained with ME-GCN, which considers the edge features as multi-stream signals, and each stream performs a separate graph convolutional operation. Our ME-GCN can integrate a rich source of graph edge information of the entire text corpus. The results have demonstrated that our proposed model has significantly outperformed the state-of-the-art methods across eight benchmark datasets.

研究动机与目标

• 解决现有 GCN 在文本分类中仅使用单维边特征的局限性。
• 探究多维边特征在捕捉词语与文档之间丰富语义和结构关系方面的有效性。
• 开发一种图神经网络，同时利用节点特征与多维边特征，且不依赖预训练嵌入或解析器等外部资源。
• 通过在单一统一的文本图中有效传播基于丰富边表示的信息，提升半监督文本分类的性能。
• 证明多流处理边特征可增强模型容量与泛化能力，尤其在标注数据稀缺时表现更优。

提出的方法

• 从整个语料库构建一个单一的大规模文本图，其中词语和文档作为节点，多维边表示它们之间的语义距离。
• 使用语料库训练得到的多维嵌入（如 Word2Vec、fastText、GloVe）初始化词语和文档节点，以捕捉语义与句法结构。
• 基于节点嵌入之间的余弦距离或欧氏距离，将边特征表示为多维向量，编码丰富的关系信息。
• 应用多流图卷积：边特征向量的每一维通过独立的图卷积层进行处理，以保留特征特定的模式。
• 为每条边特征流设置独立的学习单元，以实现对局部结构模式的独立优化，再进行聚合。
• 使用最大池化（max pooling）聚合多流输出，以增强特征表示，同时保留判别性信息。

实验结果

研究问题

• RQ1 与单维边特征相比，多维边特征是否能显著提升半监督文本分类的性能？
• RQ2 在低标签数据设置下，使用语料库训练的多维边特征如何影响模型的泛化能力？
• RQ3 多流图卷积（即分别处理边特征的每一维）是否优于共享或统一处理方式？
• RQ4 不同的词嵌入技术（Word2Vec、fastText、GloVe）如何影响边特征的质量及下游分类准确率？
• RQ5 池化策略（最大池化、平均池化、最小池化）对 ME-GCN 最终表示与分类性能有何影响？

主要发现

• ME-GCN 在八个基准数据集上均达到最先进性能，包括 R52 和 Twitter nltk，且仅使用 1% 的标注文档。
• 在 Twitter nltk 数据集上，ME-GCN 仅用 1% 的标注数据即达到 82.32% 的测试准确率，即使在其他模型使用 33% 数据训练时也表现更优。
• 在 R52 数据集上，ME-GCN 仅用 10% 的标注文档即达到 85.52% 的准确率，展现出强大的数据效率。
• 最大池化在所有数据集上表现最佳，而最小池化表现较差，因其对异常值和噪声较为敏感。
• 分离流学习显著优于共享学习，表明对边特征各维度独立处理可增强模型容量与表征学习能力。
• Word2Vec 和 GloVe 在节点与边特征学习中表现优于 fastText，可能是因为模型更依赖词级而非字符级表示。