[论文解读] Be More with Less: Hypergraph Attention Networks for Inductive Text Classification

Kaize Ding, Jianling Wang+3 more|arXiv (Cornell University)|Nov 1, 2020

Topic Modeling参考文献 33被引用 15

一句话总结

本文提出 HyperGAT，一种超图注意力网络，通过使用文档级别的超图来建模文本文档，以捕捉高阶词交互关系，同时降低计算成本。通过在序列和语义超边上采用双重注意力机制，HyperGAT 在归纳式文本分类任务中实现了最先进性能，兼具更强的表达能力与更高的效率。

ABSTRACT

Text classification is a critical research topic with broad applications in natural language processing. Recently, graph neural networks (GNNs) have received increasing attention in the research community and demonstrated their promising results on this canonical task. Despite the success, their performance could be largely jeopardized in practice since they are: (1) unable to capture high-order interaction between words; (2) inefficient to handle large datasets and new documents. To address those issues, in this paper, we propose a principled model -- hypergraph attention networks (HyperGAT), which can obtain more expressive power with less computational consumption for text representation learning. Extensive experiments on various benchmark datasets demonstrate the efficacy of the proposed approach on the text classification task.

研究动机与目标

• 解决现有图神经网络在捕捉超越成对关系的高阶词交互关系方面的局限性。
• 降低大规模和动态文本数据集在文本表示学习中的计算消耗。
• 通过避免在模型训练期间访问测试数据的归纳训练方式，实现归纳学习。
• 构建一个合理的模型，在不增加计算开销的前提下增强表达能力。
• 将异构上下文信息——序列信息与语义信息——整合到统一的超图结构中，以提升文本表示质量。

提出的方法

• 将每个文本文档建模为文档级别的超图，其中超边连接多个词语，以表示高阶交互关系。
• 构建两类超边：基于词序的序列超边和基于词嵌入的语义超边，以捕捉上下文语义。
• 设计双重注意力机制：节点级注意力为每条超边内的词语分配权重，边级注意力为超边分配权重，实现选择性聚合。
• 使用可学习的注意力参数，在超图的消息传递过程中动态强调信息量丰富的词语和超边。
• 通过多层堆叠 HyperGAT 模块，捕捉长距离依赖关系，并在多跳传播中丰富表示。
• 使用交叉熵损失端到端训练模型，实现对未见文档的归纳推理。

实验结果

研究问题

• RQ1 基于超图的建模能否通过捕捉三元组及更高阶的词交互关系，提升文本表示的表达能力？
• RQ2 与标准图神经网络相比，超图注意力机制能否在文本分类任务中降低计算成本？
• RQ3 双重注意力机制是否通过选择性聚焦于信息量丰富的词语和超边，提升模型性能？
• RQ4 所提出的模型能否在无需微调的情况下有效泛化到新的、未见的文档上，即支持归纳学习？
• RQ5 序列超边与语义超边在最终表示质量上的贡献有何不同？

主要发现

• HyperGAT 在多个基准数据集上达到最先进性能，在 20NG 数据集上的测试准确率达到 0.8662 ± 0.0016，显著优于所有基线模型。
• 在 Ohsumed 数据集上，HyperGAT 达到 0.9797 ± 0.0023 的测试准确率，展现出在医学文本分类任务中的强大性能。
• 消融实验表明，移除双重注意力机制会导致性能显著下降，证实其在学习表达性表示方面的有效性。
• 移除序列超边对性能的损害大于移除语义超边，表明序列结构在表示学习中更为关键。
• t-SNE 可视化结果表明，与文本级 GNN 相比，HyperGAT 学习到的文档表示更具判别性且类别间分离更清晰。
• 注意力可视化显示，模型能正确识别出有意义的超边（如连接 'player'、'baseball' 和 'win' 的超边），并为其分配更高的注意力权重，验证了双重注意力机制的可解释性。