[论文解读] HeteGCN: Heterogeneous Graph Convolutional Networks for Text Classification

Rahul Ragesh, Sundararajan Sellamanickam+3 more|arXiv (Cornell University)|Aug 19, 2020

Topic Modeling参考文献 38被引用 19

一句话总结

该论文提出 HeteGCN，一种异构图卷积网络，通过在不同层使用不同图结构（如词-词、文档-词）将 TextGCN 分解为模块化、独立的 HeteGCN 模型。通过简化架构并减少参数量，HeteGCN 实现了更快的训练速度，在小规模标注数据集上具有更好的泛化能力，且在低数据场景下相比 TextGCN 和 PTE 表现更优。

ABSTRACT

We consider the problem of learning efficient and inductive graph convolutional networks for text classification with a large number of examples and features. Existing state-of-the-art graph embedding based methods such as predictive text embedding (PTE) and TextGCN have shortcomings in terms of predictive performance, scalability and inductive capability. To address these limitations, we propose a heterogeneous graph convolutional network (HeteGCN) modeling approach that unites the best aspects of PTE and TextGCN together. The main idea is to learn feature embeddings and derive document embeddings using a HeteGCN architecture with different graphs used across layers. We simplify TextGCN by dissecting into several HeteGCN models which (a) helps to study the usefulness of individual models and (b) offers flexibility in fusing learned embeddings from different models. In effect, the number of model parameters is reduced significantly, enabling faster training and improving performance in small labeled training set scenario. Our detailed experimental studies demonstrate the efficacy of the proposed approach.

研究动机与目标

• 解决现有基于图的文本分类模型在可扩展性、归纳能力以及低标签设置下的性能局限。
• 通过设计一种模块化、归纳性的替代方案，克服 TextGCN 的归纳性不足和参数量过高的问题。
• 在保留 PTE 的归纳性与高效训练特性的同时，通过统一的 GCN 基础框架提升其性能。
• 实现灵活的模型组合与不同 HeteGCN 变体嵌入的融合，以增强泛化能力与适应性。
• 为基于异构图中学习到的特征与文档嵌入，在文本分类中提供一种系统性的归纳推理方法。

提出的方法

• 将 TextGCN 架构分解为多个独立的 HeteGCN 模型，每个模型在不同图类型（如词-词、文档-词）上运行。
• 为不同图结构使用独立的 GCN 层，确保一致性并减少异构关系之间的参数共享。
• 构建一个包含文档、词语和标签的异构图，并对每类图结构应用图卷积操作以学习节点嵌入。
• 在不同图类型上独立训练 HeteGCN 模型，并融合其学习到的嵌入用于最终分类。
• 在融合嵌入上应用简单的线性分类器，实现在无需对新数据重新训练的情况下进行归纳推理。
• 利用 HeteGCN 的归纳特性，在推理阶段泛化到未见过的节点（文档或词语），而 TextGCN 为归纳性模型。

实验结果

研究问题

• RQ1 模块化 HeteGCN 架构是否能在训练速度、参数效率以及小规模标注数据集上的性能方面优于单体结构的 TextGCN？
• RQ2 将 TextGCN 分解为独立的 HeteGCN 模型，如何影响在标签稀缺条件下的归纳能力与泛化性能？
• RQ3 不同图类型（如词-词与文档-词）对最终分类性能的相对贡献如何？
• RQ4 HeteGCN 是否能在显著降低模型复杂度与训练时间的同时，保持与现有 GCN 基础文本分类器相当甚至更优的性能？
• RQ5 融合多个 HeteGCN 模型的嵌入在低数据场景下是否能有效提升鲁棒性与准确性？

主要发现

• 在多个基准数据集上，仅使用词-词图的 HeteGCN 表现优于 SOTA 模型（包括 TextGCN 和 PTE），尤其在标注数据有限时优势明显。
• 与 TextGCN 相比，模型参数量显著减少，从而实现更快的训练速度，并在低数据场景下提升泛化能力。
• 模块化设计支持在不同图上独立训练 HeteGCN 模型，有利于消融研究与模型可解释性分析。
• HeteGCN 通过学习可泛化到未见文档与词语的嵌入实现归纳推理，而 TextGCN 为归纳性模型。
• 融合多个 HeteGCN 变体的嵌入可提升性能，证明了所提架构的灵活性与有效性。
• 该方法在计算与存储资源受限的环境下仍能保持强性能，适用于资源受限场景。