[论文解读] Learn from Syntax: Improving Pair-wise Aspect and Opinion Terms Extractionwith Rich Syntactic Knowledge

Shengqiong Wu, Hao Fei+3 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 27被引用 8

一句话总结

本文通过将丰富的句法特征——依存边、依存标签和词性标注——通过一种标签感知图卷积网络（LAGCN）和局部注意力模块整合，提出了一种增强句法的配对式方面和观点词项抽取模型（PAOTE）。该模型采用三重仿射评分器（Triaffine scorer）捕捉高阶配对关系，并复用句法感知表示进行句法感知评分，从而在四个基准数据集上实现了最先进（SOTA）的性能，同时通过显式的句法建模实现了可解释的预测。

ABSTRACT

In this paper, we propose to enhance the pair-wise aspect and opinion terms extraction (PAOTE) task by incorporating rich syntactic knowledge. We first build a syntax fusion encoder for encoding syntactic features, including a label-aware graph convolutional network (LAGCN) for modeling the dependency edges and labels, as well as the POS tags unifiedly, and a local-attention module encoding POS tags for better term boundary detection. During pairing, we then adopt Biaffine and Triaffine scoring for high-order aspect-opinion term pairing, in the meantime re-harnessing the syntax-enriched representations in LAGCN for syntactic-aware scoring. Experimental results on four benchmark datasets demonstrate that our model outperforms current state-of-the-art baselines, meanwhile yielding explainable predictions with syntactic knowledge.

研究动机与目标

• 解决现有 PAOTE 模型忽略丰富句法特征（如依存标签和词性标注）的局限性。
• 通过局部注意力机制建模词性标注特征，以改善方面和观点词项的边界检测。
• 捕捉一阶评分方法中未被充分利用的长距离句法依赖关系和重叠配对结构。
• 通过三重仿射评分器利用高阶交互关系实现更优的词项配对，并复用句法增强表示进行句法感知评分。
• 通过整合语言学和句法知识，实现更准确且可解释的方面-观点对预测。

提出的方法

• 提出一种句法融合编码器（SynFue），结合标签感知图卷积网络（LAGCN），在统一框架中联合建模依存边、依存标签和词性标注。
• 局部注意力模块通过捕捉局部句法上下文，对词性标注进行编码，以改善词项边界的检测。
• 采用三重仿射评分器实现高阶方面-观点配对，使模型能够捕捉重叠配对结构内的三元关系和相互作用。
• 在评分阶段重新利用 LAGCN 中获得的句法增强表示，实现句法感知的词项配对，提升语义对齐。
• 框架整合了端到端 PAOTE 的联合学习，损失函数针对词项抽取和配对任务进行联合优化。
• 超参数如加权系数 η₁ 和 η₂ 经调优，以平衡三重仿射评分头与句法感知评分头的贡献。

实验结果

研究问题

• RQ1 将依存标签和词性标注整合到统一的句法编码器中，能否提升方面和观点词项抽取的准确性？
• RQ2 通过局部注意力机制建模词性标注，对 PAOTE 中词项边界的检测有何影响？
• RQ3 通过三重仿射机制实现高阶评分，能在多大程度上捕捉方面-观点对中的重叠配对结构和相互依赖关系？
• RQ4 在评分阶段复用 LAGCN 中的句法增强表示，是否能带来更准确且可解释的预测？
• RQ5 不同架构选择（如 LAGCN 的层数）如何影响模型性能与泛化能力？

主要发现

• 该模型在四个基准数据集上的 PAOTE 任务中实现了最先进性能，优于当前的 SOTA 方法。
• 最优配置使用 η₁ = 0.4 和 η₂ = 1.0，表明句法增强表示的贡献显著高于仅使用三重仿射评分器。
• 两层 LAGCN 表现最佳，表明更深的网络可能引入冗余或过拟合。
• 定性分析表明，LAGCN 有效学习到了依存标签（如 'nsubj'、'conj'）与词性标注（如 'JJ'、'NN'）之间的有意义相关性，与语言学直觉一致。
• 通过三重仿射评分器利用高阶交互关系，模型在捕捉重叠方面-观点对方面表现更优。
• 整合丰富的句法知识使预测更具可解释性，注意力权重与已知句法模式高度对齐。