[论文解读] Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis

Qihuang Zhong, Liang Ding+4 more|arXiv (Cornell University)|Jan 13, 2022

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

本文提出 KGAN，一种知识图谱增强网络，通过分层融合模块从上下文、句法和外部知识中学习多视角表征，从而增强方面级情感分析。通过将知识图谱嵌入与注意力机制结合，并在各分支间共享参数，KGAN 在五个 ABSA 基准上实现了最先进性能，且在效率和鲁棒性方面均有提升，包括使用 RoBERTa 的新 SOTA 结果。

ABSTRACT

Aspect-based sentiment analysis (ABSA) is a fine-grained task of sentiment analysis. To better comprehend long complicated sentences and obtain accurate aspect-specific information, linguistic and commonsense knowledge are generally required in this task. However, most current methods employ complicated and inefficient approaches to incorporate external knowledge, e.g., directly searching the graph nodes. Additionally, the complementarity between external knowledge and linguistic information has not been thoroughly studied. To this end, we propose a knowledge graph augmented network KGAN, which aims to effectively incorporate external knowledge with explicitly syntactic and contextual information. In particular, KGAN captures the sentiment feature representations from multiple different perspectives, i.e., context-, syntax- and knowledge-based. First, KGAN learns the contextual and syntactic representations in parallel to fully extract the semantic features. Then, KGAN integrates the knowledge graphs into the embedding space, based on which the aspect-specific knowledge representations are further obtained via an attention mechanism. Last, we propose a hierarchical fusion module to complement these multi-view representations in a local-to-global manner. Extensive experiments on five popular ABSA benchmarks demonstrate the effectiveness and robustness of our KGAN. Notably, with the help of the pretrained model of RoBERTa, KGAN achieves a new record of state-of-the-art performance among all datasets.

研究动机与目标

• 为解决现有 ABSA 模型在有效且高效地整合外部语言学和常识知识方面的局限性。
• 探索上下文、句法和基于知识的表征之间的互补性，以提升情感分类性能。
• 设计一种轻量化、参数高效的架构，在无需复杂子图构建的情况下保持高性能。
• 评估模型在噪声知识输入下的鲁棒性，并衡量其在延迟和模型大小方面的效率。

提出的方法

• KGAN 使用三个并行分支，从同一输入中提取上下文、句法和基于知识的表征。
• 上下文和句法表征通过共享的 BiLSTM 提取，并使用注意力机制聚焦于方面特定特征。
• 通过预训练的知识图谱嵌入（KGE）整合外部知识，避免复杂的子图构建。
• 通过应用于知识嵌入的软注意力机制获取方面特定的知识表征。
• 分层融合模块以自局部到全局的方式结合多视角表征，以增强特征互补性。
• 在上下文和句法分支之间共享参数，减少模型大小和推理延迟，同时保持性能。

实验结果

研究问题

• RQ1 如何在不依赖计算成本高昂的子图构建的情况下，高效地将外部知识整合到 ABSA 模型中？
• RQ2 在 ABSA 中，上下文、句法和基于知识的表征之间的互补性程度如何？
• RQ3 多视角表征学习框架是否能在保持低延迟和小模型大小的同时实现更优性能？
• RQ4 在真实场景中，该模型对噪声或损坏的知识嵌入的鲁棒性如何？
• RQ5 外部知识的整合是否起到正则化作用，还是其有效性依赖于高质量知识？

主要发现

• KGAN 在全部五个标准 ABSA 基准上均达到新的 SOTA 性能，相比 ATAE-LSTM 的宏 F1 提升了 +10.87%。
• 尽管性能增强，KGAN 的推理延迟与近期 SOTA 模型（如 R-GAT 和 DM-GCN）相比仍保持相当或更优。
• 由于分支间参数共享，KGAN 的模型大小显著小于 DM-GCN（362 万参数 vs 880 万参数）。
• KGAN 对知识嵌入中的低至中等程度噪声（最高达 5%）表现出鲁棒性，性能仅在 20% 噪声时开始下降。
• 消融实验证实，三种视图——上下文、句法和知识——相互补充，各自对最终性能有独特贡献。
• 使用预训练的知识图谱嵌入（KGE）比基于子图的方法更有效且高效，尤其在处理多个方面术语时表现更优。