[论文解读] An Iterative Knowledge Transfer Network with Routing for Aspect-based Sentiment Analysis

Yunlong Liang, Fandong Meng+4 more|arXiv (Cornell University)|Apr 4, 2020

Sentiment Analysis and Opinion Mining参考文献 21被引用 9

一句话总结

本文提出了一种用于端到端方面级情感分析的迭代知识迁移网络（IKTN），通过路由机制在方面词抽取、观点词抽取和情感分类三个子任务之间迭代传递特定于任务的知识，同时选择性地传递文档级语言知识。该方法通过利用子任务间的语义依赖关系和判别性知识迁移，在三个基准数据集上显著优于当前最先进方法。

ABSTRACT

Aspect-based sentiment analysis (ABSA) mainly involves three subtasks: aspect term extraction, opinion term extraction and aspect-level sentiment classification, which are typically handled separately or (partially) jointly. However, the semantic interrelationships among all the three subtasks are not well exploited in previous approaches, which restricts their performance. Additionally, the linguistic knowledge from document-level labeled sentiment corpora is usually used in a coarse way for the ABSA. To address these issues, we propose a novel Iterative Knowledge Transfer Network (IKTN) for the end-to-end ABSA. For one thing, to fully exploit the semantic correlations among the three aspect-level subtasks for mutual promotion, the IKTN transfers the task-specific knowledge from any two of the three subtasks to another one by leveraging a specially-designed routing algorithm, that is, any two of the three subtasks will help the third one. Besides, the IKTN discriminately transfers the document-level linguistic knowledge, i.e., domain-specific and sentiment-related knowledge, to the aspect-level subtasks to benefit the corresponding ones. Experimental results on three benchmark datasets demonstrate the effectiveness of our approach, which significantly outperforms existing state-of-the-art methods.

研究动机与目标

• 解决方面级情感分析中三个核心子任务——方面词抽取、观点词抽取和方面级情感分类——之间语义关联性利用不足的问题。
• 通过有选择性地将文档级语言知识（尤其是领域特定和情感相关知识）传递至方面级子任务，提升其利用效率。
• 开发一个统一的端到端框架，通过迭代知识迁移实现三个子任务之间的相互促进。
• 克服先前方法中粗粒度或静态知识集成的局限性，后者限制了性能提升。

提出的方法

• IKTN采用专门设计的路由算法，实现在三个子任务之间的双向和迭代知识迁移，使任意两个子任务能够通过特定于任务的知识引导第三个子任务。
• 路由机制能够动态识别并传递来自两个子任务至第三个子任务的相关知识，促进相互学习和语义对齐。
• 基于相关性，选择性地将文档级语言知识传递至方面级子任务，重点关注领域特定和情感相关特征。
• 模型采用端到端训练，将所有三个子任务整合于单一神经架构中，以确保联合优化和上下文一致性。
• 知识迁移以迭代方式进行，使模型能够通过多轮反馈不断优化各子任务的预测结果。
• 框架利用注意力机制和序列建模技术，以保留长距离依赖关系并提升表示质量。

实验结果

研究问题

• RQ1 如何有效利用方面词抽取、观点词抽取和情感分类之间的语义依赖关系，以提升整体ABSA性能？
• RQ2 子任务之间迭代的、双向的知识迁移对方面级情感分析的准确性和鲁棒性有何影响？
• RQ3 有选择性的文档级语言知识迁移（尤其是情感相关和领域特定知识）能否提升方面级子任务的性能？
• RQ4 所提出的IKTN在标准ABSA基准数据集上相较于现有最先进方法的性能提升程度如何？

主要发现

• IKTN在三个方面级情感分析的基准数据集上显著优于现有最先进方法。
• 迭代知识迁移机制在所有三个子任务（方面词抽取、观点词抽取和情感分类）中均带来一致的性能提升。
• 对文档级语言知识的判别性迁移提升了模型捕捉方面级别情感相关和领域特定模式的能力。
• 基于路由的知识迁移策略有效捕捉并利用了子任务之间的语义相关性，实现了相互促进和泛化能力的提升。
• 与分别处理子任务或采用静态知识集成的模型相比，采用迭代优化的端到端训练框架取得了更优结果。
• 实证结果表明，所提方法实现了最先进性能，验证了其知识迁移与路由机制的有效性。