[論文レビュー] A Unified Model for Opinion Target Extraction and Target Sentiment Prediction

Xin Li, Lidong Bing+2 more|arXiv (Cornell University)|Nov 13, 2018

Sentiment Analysis and Opinion Mining参考文献 30被引用数 85

ひとこと要約

この論文は、 boundary guidance、sentiment consistency、および opinion-enhanced target word detection を用いた、二つの積み重ねられた LSTM によるエンドツーエンドの統一 TBSA モデルを提案し、ターゲットを同時に抽出し感情を予測する。統合タグ付けフレームワークと補助タスクを通じてベンチマークデータセットで最先端の結果を達成する。

ABSTRACT

Target-based sentiment analysis involves opinion target extraction and target sentiment classification. However, most of the existing works usually studied one of these two sub-tasks alone, which hinders their practical use. This paper aims to solve the complete task of target-based sentiment analysis in an end-to-end fashion, and presents a novel unified model which applies a unified tagging scheme. Our framework involves two stacked recurrent neural networks: The upper one predicts the unified tags to produce the final output results of the primary target-based sentiment analysis; The lower one performs an auxiliary target boundary prediction aiming at guiding the upper network to improve the performance of the primary task. To explore the inter-task dependency, we propose to explicitly model the constrained transitions from target boundaries to target sentiment polarities. We also propose to maintain the sentiment consistency within an opinion target via a gate mechanism which models the relation between the features for the current word and the previous word. We conduct extensive experiments on three benchmark datasets and our framework achieves consistently superior results.

研究の動機と目的

• エンドツーエンドの Target-Based Sentiment Analysis (TBSA) が、ターゲットを同時に抽出し感情を予測する必要性を動機づける。
• 統一タグ付けスキームと二段階 RNN アーキテクチャを提案し、タスク間の依存関係をモデル化する。
• 境界ガイド付き予測、感情の一貫性、および意見強化ターゲット語検出を導入して TBSA の性能を向上させる。
• 統合モデルが SemEval ABSA および Twitter データセットで最先端のベースラインを上回ることを示す。
• 各コンポーネントの寄与を定量化するアブレーション研究を提供する。

提案手法

• 完全な TBSA タスクのための統一タグを用いた二つの積み上げ LSTM (LSTM^S) と補助的なターゲット境界予測のための LSTM^T。
• Boundary Guidance (BG): 境界から統一タグへの遷移を遷移行列 W^tr でエンコードし、境界スコアを統一タグへ写像する；主要スコアと信頼度ベースの割合 alpha_t で組み合わせる。
• Sentiment Consistency (SC): 意見ターゲット内部の感情整合性を保つため、現在の語と前方/前回語の特徴をゲート制御で混合。
• Opinion-Enhanced (OE) Target Word Detection: コンテキスト窓を用いて意見語の周辺から潜在ターゲット語を検出する補助トークンレベル分類器。境界情報を精緻化。
• 訓練は三つの損失 L^S, L^T, L^O を組み合わせる（TBSA、境界、ターゲット語検出の語/トークンレベルのクロスエントロピー）
• Unified tagging scheme: Y^S = {B-POS, I-POS, E-POS, S-POS, B-NEG, I-NEG, E-NEG, S-NEU, B-NEU, I-NEU, E-NEU, S-NEU, O}

実験結果

リサーチクエスチョン

• RQ1 TBSA を推論時に別個の境界予測なしで、統一タグ付けスキームを用いてエンドツーエンドで効果的に解けるか。
• RQ2 エラーを伝搬するハードな制約を課さずに境界情報を活用して統一 TBSA タガーをガイドするにはどうするか。
• RQ3 多語からなるターゲット内で感情の一貫性を強制すると TBSA の予測精度は向上するか。
• RQ4 補助的なターゲット語検出タスクを組み込むと境界品質と全体の TBSA 性能は向上するか。
• RQ5 境界ガイダンスの重み alpha_t や文脈窓 s など主要ハイパーパラメータの TBSA 性能への影響は。

主な発見

Model	D_L P	D_L R	D_L F1	D_R P	D_R R	D_R F1	D_T P	D_T R	D_T F1
CRF-pipeline	59.69	47.54	52.93	52.28	51.01	51.64	42.97	25.21	31.73
NN-CRF-pipeline	57.72	49.32	53.19	60.09	61.93	61.00	43.71	37.12	40.06
HAST-TNet	56.42	54.20	55.29	62.18	73.49	67.36	46.30	49.13	47.66
LSTM-unified	57.91	46.21	51.40	62.80	63.49	63.14	51.45	37.62	43.41
LSTM-CRF-1	58.61	50.47	54.24	66.10	66.30	66.20	51.67	44.08	47.52
LSTM-CRF-2	58.66	51.26	54.71	61.56	67.26	64.29	53.74	42.21	47.26
LM-LSTM-CRF	53.31	59.4	56.19	68.46	64.43	66.38	43.52	52.01	47.35
Base model	60.00	46.85	52.61	61.48	66.16	63.73	53.02	41.47	46.50
Base model + BG	58.58	50.63	54.31	67.51	66.42	66.96	52.26	43.84	47.66
Base model + BG + SC	58.95	53.00	55.81	63.95	69.65	66.68	53.12	43.60	47.79
Base model + BG + OE	63.43	49.53	55.62	62.85	66.77	65.22	53.10	43.50	47.78
Full model	61.27	54.89	57.90	68.64	71.01	69.80	53.08	43.56	48.01

• 統一された二 LSTM フレームワークと BG、SC、OE コンポーネントは、強力なベースラインや最先端の手法と比較してデータセット全体で優れた F1 スコアを達成する。
• Base model + BG は境界ガイド付き遷移の価値を示し、ベースモデルより TBSA 性能を向上させる。
• Full model (Base + BG + SC + OE) は最良の結果を示し、境界ガイド付き TBSA に対する SC と OE の相乗効果を実証する。
• HAST-TNet パイプラインと比較すると、提案された統一モデルは D_L、D_R、D_T でそれぞれ絶対 F1 が 2.6%、2.4%、0.40% 向上する。
• アブレーション研究は SC と OE が最先端の結果を得るために必要であり、SC は主に感情の一貫性を、OE は境界品質を改善する。
• ケース分析は、境界ガイダンスと補助信号を用いた場合、多語ターゲット内の感情を正しく予測できることを示す。