[论文解读] A Hierarchical Interactive Network for Joint Span-based Aspect-Sentiment Analysis

Wei Chen, Jinglong Du+3 more|arXiv (Cornell University)|Aug 24, 2022

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

该论文提出了一种分层交互网络（HI-ASA），用于联合跨度-based 的方面-情感分析，通过浅层交叉缝合融合与深层互信息最大化，实现方面抽取与情感分类之间的双向特征交互。HI-ASA 在三个基准数据集上均取得了最先进性能，在情感分类任务上相比之前方法最高提升 5.16%。

ABSTRACT

Recently, some span-based methods have achieved encouraging performances for joint aspect-sentiment analysis, which first extract aspects (aspect extraction) by detecting aspect boundaries and then classify the span-level sentiments (sentiment classification). However, most existing approaches either sequentially extract task-specific features, leading to insufficient feature interactions, or they encode aspect features and sentiment features in a parallel manner, implying that feature representation in each task is largely independent of each other except for input sharing. Both of them ignore the internal correlations between the aspect extraction and sentiment classification. To solve this problem, we novelly propose a hierarchical interactive network (HI-ASA) to model two-way interactions between two tasks appropriately, where the hierarchical interactions involve two steps: shallow-level interaction and deep-level interaction. First, we utilize cross-stitch mechanism to combine the different task-specific features selectively as the input to ensure proper two-way interactions. Second, the mutual information technique is applied to mutually constrain learning between two tasks in the output layer, thus the aspect input and the sentiment input are capable of encoding features of the other task via backpropagation. Extensive experiments on three real-world datasets demonstrate HI-ASA's superiority over baselines.

研究动机与目标

• 解决现有基于跨度的模型无法建模方面抽取与情感分类之间双向交互的局限性。
• 通过在两个任务之间实现浅层与深层的交互，提升联合性能。
• 设计一种框架，使方面与情感特征在训练过程中通过反向传播相互提供信息。
• 通过实证验证，分层交互机制能在多个数据集上带来一致的性能提升。

提出的方法

• 在编码层采用交叉缝合机制，选择性地融合任务特定特征，实现浅层双向交互。
• 在输出层引入互信息最大化，通过约束任务间的预测，强制实现深层交互。
• 使用共享输入嵌入与任务特定头，保持模块化的同时实现跨任务知识迁移。
• 通过超参数 α 控制交互强度，平衡任务特定表示与共享表示。
• 使用联合损失函数端到端训练模型，结合方面抽取与情感分类目标。
• 应用基于梯度的反向传播，使情感特征能够指导方面检测，反之亦然，实现相互监督。

实验结果

研究问题

• RQ1 方面抽取与情感分类之间的分层双向交互是否能提升基于跨度的方面-情感分析的联合性能？
• RQ2 编码层的交叉缝合机制在多大程度上影响了任务间的特征共享？
• RQ3 输出层的互信息最大化在多大程度上增强了跨任务泛化能力？
• RQ4 在不同数据规模的数据集中，交互强度（由 α 控制）的最优平衡点是什么？
• RQ5 所提出方法是否在方面抽取与情感分类任务上均优于串行与并行编码基线？

主要发现

• 在 Laptop 数据集上，HI-ASA 在方面抽取任务中取得了 85.02 的 F1 分数，相比之前最佳方法提升 3.93 分。
• 在情感分类任务中，HI-ASA 在 Laptop 数据集上达到 93.18% 的准确率，相比最强基线 SPRM 提升 3.98 个百分点。
• 消融实验表明，若移除浅层交互（w/o SI）或深层交互（w/o DI），性能均出现一致下降，证实了两个组件的必要性。
• 在 Laptop 与 Tweets 数据集上，最优超参数 α 为 0.1；在 Restaurant 数据集上为 0.4，表明交互强度应随数据集规模调整。
• 当 α 非零时模型性能最佳，证明交互机制有效，而非冗余于并行编码（α = 0）。
• 模型展现出强大的泛化能力，在三个不同数据集（Laptop、Restaurant 和 Tweets）上均实现一致的性能提升。