[论文解读] Aspect Category Detection via Topic-Attention Network

Sajad Movahedi, Erfan Ghadery+2 more|arXiv (Cornell University)|Jan 4, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用 33

一句话总结

TAN 使用多主题注意力机制与基于向量的类别建模以及 squash 激活来检测餐厅领域的方面类别，在 2014 年和 2016 年数据集上相对于若干 SemEval 基线显示出改进。

ABSTRACT

The e-commerce has started a new trend in natural language processing through sentiment analysis of user-generated reviews. Different consumers have different concerns about various aspects of a specific product or service. Aspect category detection, as a subtask of aspect-based sentiment analysis, tackles the problem of categorizing a given review sentence into a set of pre-defined aspect categories. In recent years, deep learning approaches have brought revolutionary advances in multiple branches of natural language processing including sentiment analysis. In this paper, we propose a deep neural network method based on attention mechanism to identify different aspect categories of a given review sentence. Our model utilizes several attentions with different topic contexts, enabling it to attend to different parts of a review sentence based on different topics. Experimental results on two datasets in the restaurant domain released by SemEval workshop demonstrates that our approach outperforms existing methods on both datasets. Visualization of the topic attention weights shows the effectiveness of our model in identifying words related to different topics.

研究动机与目标

• 解决餐厅评论中可能属于多种类别的多标签方面类别检测（ACD）。
• 提出一个单一模型，通过多个主题对句子部分进行关注，而不是训练多个一对多分类器。
• 使用向量化输出和 squash 激活来保持类别表示的方向性和长度信息。
• 通过正则化项鼓励主题相关权重的多样性和正交性。
• 通过对 SemEval-2014 和 SemEval-2016 数据集的实验证明有效性，并提供主题注意力的可视化证据。

提出的方法

• 用双向 GRU 对句子进行编码以获得词表示。
• 计算主题特定的注意力以获得多种主题感知的句子表示。
• 对主题特征应用非线性的 'squash' 转换并将它们连接成一个多主题句子表示。
• 对每个方面类别，使用一个具有 squash 激活的层对句子表示进行变换，生成一个向量，其长度（通过 L2 范数）被作为该类别的概率。
• 使用均方误差损失加上一个正则化项进行训练，该正则化项强制主题权重之间的正交性以促进主题多样性。

实验结果

研究问题

• RQ1 在多标签设置中，多主题注意力机制能否优于单一注意力基线来提升 ACD？
• RQ2 将每个方面表示为向量并使用其长度作为概率是否优于标量分类方法？
• RQ3 促使正交性的正则化是否改善主题多样性和整体 ACD 表现？
• RQ4 在 SemEval-2014 和 SemEval-2016 餐厅数据集上，TAN 相对于已建立基线的表现如何？

主要发现

• TAN 在 SemEval-2016 的 F1 值上优于若干基线，其增益高于 MTNA、VA、TAwS 和 NRC-Canada 基线。
• 在 SemEval-2014 上，TAN 在 F1 值上超过 VA、RepLearn、TAwS、MTNA 和 NRC-Canada，尽管 CAN 的表现也具竞争力。
• TAN 的多主题注意力和基于 squash 的向量输出比单注意力变体（VA）和消融的 squash 变体（TAwS）具有更强的性能。
• 对主题注意力权重的可视化显示单词与不同主题（如 SERVICE、FOOD）对齐，对应不同的方面信号。
• 该模型表明关注细粒度主题并保持向量方向/长度有助于在多标签设置中改进 ACD。