[論文レビュー] Aspect Based Sentiment Analysis with Gated Convolutional Networks

Wei Xue, Tao Li|arXiv (Cornell University)|May 18, 2018

Sentiment Analysis and Opinion Mining参考文献 17被引用数 67

ひとこと要約

本論文は、GCAE というCNNベースのモデルを提案する。Gated Tanh-ReLU ユニットを備え、ABSAタスク（ACSAおよびATSA）に対して、特定のアスペクトに依存した感情特徴を選択的に抽出する。再帰層や従来のアテンション機構を用いず、学習速度を向上させつつ競争力のある精度を提供する。

ABSTRACT

Aspect based sentiment analysis (ABSA) can provide more detailed information than general sentiment analysis, because it aims to predict the sentiment polarities of the given aspects or entities in text. We summarize previous approaches into two subtasks: aspect-category sentiment analysis (ACSA) and aspect-term sentiment analysis (ATSA). Most previous approaches employ long short-term memory and attention mechanisms to predict the sentiment polarity of the concerned targets, which are often complicated and need more training time. We propose a model based on convolutional neural networks and gating mechanisms, which is more accurate and efficient. First, the novel Gated Tanh-ReLU Units can selectively output the sentiment features according to the given aspect or entity. The architecture is much simpler than attention layer used in the existing models. Second, the computations of our model could be easily parallelized during training, because convolutional layers do not have time dependency as in LSTM layers, and gating units also work independently. The experiments on SemEval datasets demonstrate the efficiency and effectiveness of our models.

研究の動機と目的

• 事前に定義されたアスペクトやターゲットに対して、テキスト中の細かな感情を提供する ABSA の動機づけ。
• 与えられたアスペクトに条件付けられた感情特徴を選択的に伝播させるゲーティング機構を用いたCNNベースのアーキテクチャを提案する。
• トレーニング効率を向上させつつ、精度を維持または向上させるために、LSTM/アテンションへの依存を排除する。
• 共通のCNNコンポーネントを用いて、アスペクトカテゴリー（ACSA）とアスペクト用語（ATSA）の双方を扱えるようモデルを拡張する。
• 徹底的な実験を通じて、SemEval のレストランおよびノートパソコンデータセットでの有効性を示す。

提案手法

• 感情特徴とアスペクト特徴のための2つの並列畳み込みストリームを活用する、アスペクト埋め込みを用いたゲート付き畳み込みネットワーク（GCAE）を提案する。
• 各位置で要素ごとのゲーティングを介して感情情報とアスペクト情報を融合する、Gated Tanh-ReLU Units (GTRU) を導入する。
• 感情特徴 a_i は、アスペクト埋め込みを用いたReLU活性化畳み込みで計算し、アスペクト特徴 s_i は tanh活性化畳み込みで計算し、出力は c_i = s_i * a_i とする。
• ゲーティングされた特徴に対して最大時間プーリングを適用し、分類のための固定サイズの文表現を作る。
• ATSA の場合、ゲートの案内特徴を生成するためにアスペクト用語上の小さなCNNを追加する；ACSA の場合は単一のアスペクト埋め込みを使用する。
• 予測された感情極性に対してクロスエントロピー損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 位置ごとにゲート付きユニットを持つCNNベースのアーキテクチャは、ACSAおよびATSAタスクにおいてLSTM/アテンションベースのABSAモデルと同等または上回ることができるか？
• RQ2 アスペクト情報で条件付けられたゲーティング機構は、標準的なCNNと比較してアスペクト固有の感情特徴の抽出を改善するか？
• RQ3 並列化可能な畳み込みとゲーティングにより、提案されたGCAEの学習時間はLSTM/アテンションベースの手法と比べて効率的か？
• RQ4 複数のアスペクトと混合感情を含む難易度の高いABSAのテストセットで、GCAEはどのように機能するか？
• RQ5 アスペクト用語CNNを用いたATSA拡張は、多語のターゲットに対する感情成分の構成を効果的に導くことができるか？

主な発見

• GCAE はレストランABSAタスクにおいて、他のいくつかのニューラルベースラインより高い精度を達成し、文中に複数の感情が含まれる難易度の高いテストセットで顕著な向上を示す。
• GCAE はLSTM/アテンションベースのモデルより訓練収束が速いことを示す（学習時間が大幅に短縮される）。
• GTRUゲーティングは、感情特徴の選択的伝播を改善し、ABSAタスクにおいてGTUおよびGLU系を上回る。
• アスペクト用語CNNを用いたATSA拡張はLSTMベースのベースラインに対して競争力のある結果を提供し、難易度の高いテスト設定でGCAEがしばしば上回る。
• 畳み込みアーキテクチャは並列計算を可能にし、精度を損なうことなく効率を達成する。