[論文レビュー] Aspect Category Detection via Topic-Attention Network

Sajad Movahedi, Erfan Ghadery+2 more|arXiv (Cornell University)|Jan 4, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用数 33

ひとこと要約

TANはベクトルベースのカテゴリモデリングとsquash活性化を用いたマルチトピックアテンション機構を用いて、レストラン領域のアスペクトカテゴリを検出し、2014年と2016年の両データセットで複数のSemEvalベースラインより改善を示します。

ABSTRACT

The e-commerce has started a new trend in natural language processing through sentiment analysis of user-generated reviews. Different consumers have different concerns about various aspects of a specific product or service. Aspect category detection, as a subtask of aspect-based sentiment analysis, tackles the problem of categorizing a given review sentence into a set of pre-defined aspect categories. In recent years, deep learning approaches have brought revolutionary advances in multiple branches of natural language processing including sentiment analysis. In this paper, we propose a deep neural network method based on attention mechanism to identify different aspect categories of a given review sentence. Our model utilizes several attentions with different topic contexts, enabling it to attend to different parts of a review sentence based on different topics. Experimental results on two datasets in the restaurant domain released by SemEval workshop demonstrates that our approach outperforms existing methods on both datasets. Visualization of the topic attention weights shows the effectiveness of our model in identifying words related to different topics.

研究の動機と目的

• 文が複数のカテゴリに属する可能性があるレストランのレビューにおけるマルチラベルのアスペクトカテゴリ検出（ACD）に対応する。
• 複数のトピックを介して文の部分に注目する単一のモデルを提案する。複数の1対他分類器を学習させる代わりに。
• ベクトル化された出力とsquash活性化を用いて、カテゴリ表現の向きと長さ情報を保持する。
• トピック関連重みの多様性と直交性を促進する正則化項を導入する。
• SemEval-2014およびSemEval-2016データセットでの実験を通じて有効性を示し、トピックアテンションの視覚的証拠を提供する。

提案手法

• 文を双方向GRUでエンコードして語彙表現を得る。
• トピック固有のアテンションを計算して、複数のトピック対応の文表現を得る。
• トピック特徴に非線形の 'squash' 変換を適用し、それらを結合してマルチトピック文表現を作る。
• 各アスペクトカテゴリについて、squash活性化層で文表現を変換して、長さをカテゴリ確率として扱うベクターを生成する（L2ノルムを介して）。
• トピック重みの直交性を強制する正則化項を加えた平均二乗誤差損失で訓練し、トピックの多様性を促進する。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル設定において、マルチトピックアテンション機構は単一アテンションを用いたベースラインよりACDを改善できるか？
• RQ2 各アスペクトをベクターとして表現し、その長さを確率として用いる方法は、スカラー分類アプローチより優れているか？
• RQ3 直交性を促進する正則化はトピックの多様性と全体のACD性能を改善するか？
• RQ4 TANはSemEval-2014およびSemEval-2016のレストランデータセットにおいて、確立されたベースラインと比較してどの程度性能を示すか？

主な発見

Dataset	Method	P (%)	R (%)	F1 (%)
SemEval 2014	CAN	89.07	86.27	87.65
SemEval 2014	NRC-Canada	91.04	86.24	88.58
SemEval 2014	MTNA	-	-	88.91
SemEval 2014	TAwS	93.24	86.41	89.70
SemEval 2014	RepLearn	-	-	90.10
SemEval 2014	VA	91.54	88.85	90.17
SemEval 2014	TAN	91.60	89.63	90.61
SemEval 2016	NLANGP	72.45	73.62	73.03
SemEval 2016	TAwS	71.11	78.97	74.84
SemEval 2016	VA	76.06	74.52	75.28
SemEval 2016	MTNA	-	-	76.42
SemEval 2016	TAN	74.78	82.34	78.38

• TANはSemEval-2016においてF1スコアでいくつかのベースラインを上回り、MTNA、VA、TAwS、NRC-Canadaベースラインよりも大きな利得を示す。
• SemEval-2014では、TANはVA、 RepLearn、TAwS、MTNA、NRC-CanadaをF1スコアで上回るが、CANも競合的な性能を示す。
• TANのマルチトピックアテンションとsquashベースのベクトル出力は、単一アテンションの変種（VA）および切除されたsquash変種（TAwS）よりも強い性能を示す。
• トピックアテンション重みの視覚化は、異なるアスペクト様 signalsに対応する distinct topics（例：SERVICE、FOOD）と一致する語が示される。
• このモデルは、細粒度のトピックに注目し、ベクトルの向き/長さを保持することが、マルチラベル設定でのACDを改善することを示している。