[论文解读] An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

Ruidan He, Wee Sun Lee+2 more|arXiv (Cornell University)|Jun 17, 2019

Sentiment Analysis and Opinion Mining参考文献 33被引用 8

一句话总结

本文提出了一种用于端到端方面级情感分析的交互式多任务学习网络（IMN），通过在词级别和文档级别任务之间使用消息传递机制，联合学习方面术语抽取和方面级情感分类。该方法通过迭代式信息交换有效利用了来自更大规模文档级别语料库的共享表示和知识，在三个基准数据集上优于多个流水线和集成基线模型。

ABSTRACT

Aspect-based sentiment analysis produces a list of aspect terms and their corresponding sentiments for a natural language sentence. This task is usually done in a pipeline manner, with aspect term extraction performed first, followed by sentiment predictions toward the extracted aspect terms. While easier to develop, such an approach does not fully exploit joint information from the two subtasks and does not use all available sources of training information that might be helpful, such as document-level labeled sentiment corpus. In this paper, we propose an interactive multi-task learning network (IMN) which is able to jointly learn multiple related tasks simultaneously at both the token level as well as the document level. Unlike conventional multi-task learning methods that rely on learning common features for the different tasks, IMN introduces a message passing architecture where information is iteratively passed to different tasks through a shared set of latent variables. Experimental results demonstrate superior performance of the proposed method against multiple baselines on three benchmark datasets.

研究动机与目标

• 为解决流水线方法在方面级情感分析中的局限性，这些方法存在错误传播问题且未能充分利用联合任务信息。
• 实现方面术语抽取与方面级情感分类的联合学习，并显式建模任务间交互。
• 将来自更大规模、易获取的文档级别情感语料库的知识引入到细粒度的方面级任务中。
• 开发一种消息传递机制，通过迭代方式在多个相关任务之间优化共享表示。
• 通过跨任务知识迁移，提升对罕见或复杂方面术语及情感表达的检测性能。

提出的方法

• IMN采用消息传递架构，通过共享潜在变量在任务间迭代传递信息，实现超越静态特征共享的动态交互。
• 该模型联合训练五个任务：方面术语抽取（AE）、方面级情感分类（AS）、文档情感分类（DS）和领域分类（DD）。
• 信息通过共享潜在表示在任务间双向流动，每次迭代均利用相关任务的反馈来优化预测。
• 该架构在AE和AS组件中集成了自注意力机制，以捕捉长距离依赖关系和情感相关上下文。
• 该模型利用预训练嵌入和领域特定嵌入以增强表示学习，尤其对罕见或未登录词表现更优。
• 消息传递机制在T步内迭代执行，通常在2–3轮迭代内即可收敛。

实验结果

研究问题

• RQ1 交互式多任务学习框架是否能在端到端方面级情感分析中超越传统流水线和集成模型？
• RQ2 与共享特征学习相比，消息传递在提升方面抽取与情感分类联合学习方面的有效性如何？
• RQ3 文档级别情感语料库在多大程度上能提升在小型细粒度方面级数据集上的性能？
• RQ4 迭代式消息传递机制是否能增强对罕见或模糊方面术语及复杂情感表达的检测能力？
• RQ5 文档级别预测（如情感和领域）对方面级任务性能的贡献有多大？

主要发现

• IMN在三个基准数据集上达到最先进性能，在方面术语抽取和情感分类的F1分数上均优于流水线和集成基线模型。
• 带有+Message passing-a和+Message passing-d的变体（即引入任务特定消息传递）性能提升最大，证明了所提机制的有效性。
• 仅通过参数共享添加文档级别任务仅带来微小改进，但来自文档级别预测的消息传递显著提升性能，表明当知识转移被显式建模时效果最佳。
• 模型收敛迅速，最优性能在2–3轮消息传递迭代内即可达到，表明信息传播效率高。
• 案例研究显示，IMN能正确识别如'build'等不常见方面术语，并避免在无意见表达时误判'Pizza'为方面项，这得益于跨任务反馈。
• IMN更能捕捉领域特定意见词、否定表达以及细微情感类别（如中性），尤其在文档级别预测提供的情感相关注意力权重引导下表现更优。