[论文解读] Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification

Xiaochen Hou, Peng Qi+5 more|arXiv (Cornell University)|Mar 12, 2021

Sentiment Analysis and Opinion Mining参考文献 25被引用 4

一句话总结

本文提出 GraphMerge，一种图集成技术，通过在应用图神经网络（GNNs）进行方面级情感分类之前，将多个解析器生成的依存树合并为单一统一的图，从而实现整合。通过聚合来自不同解析器的边，GraphMerge 提升了对解析错误的鲁棒性，增强了模型泛化能力，并在不增加参数或计算成本的情况下实现了最先进性能。

ABSTRACT

Recent work on aspect-level sentiment classification has demonstrated the efficacy of incorporating syntactic structures such as dependency trees with graph neural networks(GNN), but these approaches are usually vulnerable to parsing errors. To better leverage syntactic information in the face of unavoidable errors, we propose a simple yet effective graph ensemble technique, GraphMerge, to make use of the predictions from differ-ent parsers. Instead of assigning one set of model parameters to each dependency tree, we first combine the dependency relations from different parses before applying GNNs over the resulting graph. This allows GNN mod-els to be robust to parse errors at no additional computational cost, and helps avoid overparameterization and overfitting from GNN layer stacking by introducing more connectivity into the ensemble graph. Our experiments on the SemEval 2014 Task 4 and ACL 14 Twitter datasets show that our GraphMerge model not only outperforms models with single dependency tree, but also beats other ensemble mod-els without adding model parameters.

研究动机与目标

• 解决基于依存的的情感模型在句法结构中对解析错误的脆弱性。
• 在不增加模型参数或计算成本的前提下提升模型鲁棒性。
• 利用多个解析器生成的多样化解析假设，以增强 GNN 的泛化能力。
• 通过边集成缩短图的直径，从而减少 GNN 中的过拟合与过平滑现象。
• 在方面级情感分类中，超越单解析器模型和传统集成方法。

提出的方法

• 通过取多个解析器的依存边的并集构建集成图，保留不同假设下的句法结构。
• 在集成图上应用关系图注意力网络（RGAT），为父节点到子节点与子节点到父节点的边分别使用独立的嵌入表示。
• 将统一图作为 GNN 的输入，使模型能够学习优先选择来自多个解析源的可靠边。
• 通过避免为每个解析树单独使用 GNN 并增加连通性以缩短图的直径，从而限制过度参数化。
• 使用关系注意力机制编码句法关系，以区分方向性依存关系。
• 在标准基准数据集上端到端训练模型进行方面级情感分类，使用交叉熵损失。

实验结果

研究问题

• RQ1 将多个依存解析合并为单一图是否能提升在方面级情感分类中对解析错误的鲁棒性？
• RQ2 通过图并集集成多个解析假设，是否能比使用单个解析树带来更好的性能？
• RQ3 GraphMerge 是否能在不增加模型参数或计算成本的情况下实现最先进结果？
• RQ4 与堆叠的 GNN 层相比，GraphMerge 在多大程度上减少了 GNN 中的过拟合与过平滑现象？
• RQ5 集成图在个体解析器失效时，如何提升模型捕捉正确句法关系的能力？

主要发现

• 在 SemEval 2014 Restaurant 和 Laptop 数据集上，GraphMerge 实现了最先进性能，14Rest 准确率为 85.16%，14Lap 为 80.0%。
• 在 ARTS 基准上，GraphMerge 在 14Rest 上取得 57.46 的方面鲁棒性得分（ARS），在 14Lap 上为 52.90，优于所有单解析器模型和 BERT。
• 模型将方面词与情感词之间的平均距离缩短至不超过两跳，提升了消息传递效率。
• 即使没有单个解析器正确预测，GraphMerge 仍能提升对标准依赖边的召回率。
• 该方法在扰动下表现出强泛化能力，优于 BERT 和单解析 RGAT 模型，在 14Rest 上 ARS 达 27.70，14Lap 上为 27.10。
• 通过缩短图的直径并限制 GNN 深度，GraphMerge 避免了过拟合与过平滑，所需层数少于基线模型。