[论文解读] DigNet: Digging Clues from Local-Global Interactive Graph for Aspect-level Sentiment Classification

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|Jan 4, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

该论文提出DigNet，一种新颖的图神经网络，通过局部-全局交互图（LGIG）整合局部句法与全局关系信息，实现句法图与关系图之间的相互补偿。通过堆叠具备图内与图间消息传递的局部-全局交互（LGI）层，DigNet在Lap14、Res14和Res15上的Macro-F1分别超越先前方法3.0%、2.32%和6.33%，达到新的SOTA性能。

ABSTRACT

In aspect-level sentiment classification (ASC), state-of-the-art models encode either syntax graph or relation graph to capture the local syntactic information or global relational information. Despite the advantages of syntax and relation graphs, they have respective shortages which are neglected, limiting the representation power in the graph modeling process. To resolve their limitations, we design a novel local-global interactive graph, which marries their advantages by stitching the two graphs via interactive edges. To model this local-global interactive graph, we propose a novel neural network termed DigNet, whose core module is the stacked local-global interactive (LGI) layers performing two processes: intra-graph message passing and cross-graph message passing. In this way, the local syntactic and global relational information can be reconciled as a whole in understanding the aspect-level sentiment. Concretely, we design two variants of local-global interactive graphs with different kinds of interactive edges and three variants of LGI layers. We conduct experiments on several public benchmark datasets and the results show that we outperform previous best scores by 3\%, 2.32\%, and 6.33\% in terms of Macro-F1 on Lap14, Res14, and Res15 datasets, respectively, confirming the effectiveness and superiority of the proposed local-global interactive graph and DigNet.

研究动机与目标

• 解决现有句法图与关系图在方面级情感分类（ASC）中的局限性，其中句法图缺乏对方面的感知且易出现信息消失，而关系图则孤立非方面节点并阻碍局部线索的捕捉。
• 通过设计一种混合图结构，实现局部句法与全局关系表征之间的信息互换，克服单独使用句法图或关系图的不足。
• 开发一种新型神经网络架构DigNet，采用堆叠的局部-全局交互（LGI）层，执行图内与图间消息传递，以增强表征学习能力。
• 证明通过交互边整合句法与关系图的互补优势，可实现更鲁棒、更全面的方面级情感推理。
• 通过在多个基准数据集上持续取得性能提升，建立方面级情感分类的新SOTA基线。

提出的方法

• 通过在句法图（基于依存解析）与关系图（以方面为中心，从每个词到方面的边带有关系标签）之间引入交互边，融合构建局部-全局交互图（LGIG）。
• 设计核心组件——局部-全局交互（LGI）层，执行两类消息传递：图内传递（在句法图或关系图内部）与图间传递（在句法图与关系图的对应节点之间）。
• 采用不同聚合机制实现LGI层的三种变体：门控循环单元（Gated）、多头注意力（MHA）与多层感知机（MLP），以建模图间交互。
• 在句法图与关系图上分别应用位置前馈图卷积网络（PW-GCN），通过多层局部消息传递细化节点表征。
• 通过元素级拼接与前馈网络整合两图的最终表征，生成最终情感预测结果。
• 采用交叉熵损失函数，结合早停与权重衰减策略进行端到端训练，使用随机初始化并进行多次运行以评估鲁棒性。

实验结果

研究问题

• RQ1 通过交互边结合句法图与关系图，能否缓解各自图结构在方面级情感分类中的固有缺陷？
• RQ2 句法图与关系图之间的图间消息传递是否能增强模型捕捉局部句法与全局关系线索的能力，从而提升情感预测性能？
• RQ3 LGI层的数量如何影响性能？在信息融合与过拟合之间，最优深度为何值？
• RQ4 PW-GCN层的数量对最终性能有何影响？更深的GCN堆叠是否能提升性能，还是导致性能退化？
• RQ5 所提出的局部-全局交互图与DigNet架构是否能在多样化基准数据集上持续超越现有SOTA方法？

主要发现

• DigNet在三个公开基准数据集上达到新的SOTA性能：在Lap14上Macro-F1提升3.0%，在Res14上提升2.32%，在Res15上提升6.33%，均超过此前最佳模型。
• Lap14与Res14的最优LGI层数量为2–3层，Res15为5层，表明在信息融合与过拟合或信息丢失之间存在一个性能最优点。
• Lap14与Res14的最佳PW-GCN层数为2层，Res15为3层，表明在达到一定深度后，更深的GCN堆叠不会提升性能，反而因参数增多与训练难度上升而产生负面影响。
• LGI层中的图间消息传递机制有效实现了句法图与关系图之间的知识迁移，使模型能够恢复如远距离方面相关词或孤立语义短语等缺失线索。
• 性能提升主要源于两图之间的协同交互，而非通过加深GCN层扩大感受野，该结论经消融实验验证。
• LGI层中采用Gated、MHA与MLP变体均带来一致性能提升，其中DigNet-CgGate表现最佳，验证了所提架构设计的有效性。