[論文レビュー] Context-Guided BERT for Targeted Aspect-Based Sentiment Analysis

Zhengxuan Wu, Desmond C. Ong|arXiv (Cornell University)|Oct 15, 2020

Sentiment Analysis and Opinion Mining参考文献 53被引用数 15

ひとこと要約

本稿では、自己注意機構に文脈を統合することで、ターゲット指向的アスペクトベースのセンチメント分析（TABSA）を向上させるために、Context-Guided BERT（CG-BERT）および新しい準注意メカニズムを備えたQuasi-Attention CG-BERT（QACG-BERT）モデルを提案する。文脈誘導型ソフトマックス注意と減算可能な構成的準注意を導入することで、QACG-BERTはSentiHoodおよびSemEval-2014データセットにおいて最先端の性能を達成し、F1スコアで先行モデルを上回り、文脈に配慮した注意学習の向上を示している。

ABSTRACT

Aspect-based sentiment analysis (ABSA) and Targeted ASBA (TABSA) allow finer-grained inferences about sentiment to be drawn from the same text, depending on context. For example, a given text can have different targets (e.g., neighborhoods) and different aspects (e.g., price or safety), with different sentiment associated with each target-aspect pair. In this paper, we investigate whether adding context to self-attention models improves performance on (T)ABSA. We propose two variants of Context-Guided BERT (CG-BERT) that learn to distribute attention under different contexts. We first adapt a context-aware Transformer to produce a CG-BERT that uses context-guided softmax-attention. Next, we propose an improved Quasi-Attention CG-BERT model that learns a compositional attention that supports subtractive attention. We train both models with pretrained BERT on two (T)ABSA datasets: SentiHood and SemEval-2014 (Task 4). Both models achieve new state-of-the-art results with our QACG-BERT model having the best performance. Furthermore, we provide analyses of the impact of context in the our proposed models. Our work provides more evidence for the utility of adding context-dependencies to pretrained self-attention-based language models for context-based natural language tasks.

研究の動機と目的

• BERTモデルの注意機構に文脈を組み込むことで、ターゲット指向的アスペクトベースのセンチメント分析（TABSA）の性能を向上させること。
• 標準的なソフトマックス注意では減算的または構成的注意をモデル化できないという制限に対処するため、負の重みを許容する準注意を導入すること。
• 文脈が序列モデルにおける注意分布およびモデル意思決定に与える影響を調査すること。
• 事前学習済みBERTのアーキテクチャを変更することで、TABSAベンチマークで最先端の性能を達成すること。

提案手法

• 文脈に配慮したTransformerを適応し、ターゲットおよびアスペクトの文脈に基づいて動的に注意重みを調整する文脈誘導型ソフトマックス注意を用いるCG-BERTを生成する。
• 負の注意重みを学習可能な新しいモデルQACG-BERTを提案し、減算的および構成的注意メカニズムを可能にする準注意重みを学習する。
• 文脈が注意に正または負に寄与するかどうかを制御する双方向ゲーティング要因λ_A^hを導入し、不要なトークンの動的抑制を可能にする。
• 通常の自己注意A_Self-Attn^hと文脈誘導型準注意A_Quasi-Attn^hの組み合わせを、学習可能なゲートを介して組み合わせ、最終的な注意Â^hを生成する。
• 両モデルを、SentiHoodおよびSemEval-2014（タスク4）で、微調整済みBERTをベースエンコーダーとして、エンドツーエンドで訓練する。
• 勾配感度解析と注意可視化を用いて、モデルの挙動を解釈し、文脈に配慮した注意学習の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 BERTの注意機構に文脈を統合することで、ターゲット指向的アスペクトベースのセンチメント分析における性能向上が図れるか？
• RQ2 準注意により負の注意重みを許容することで、TABSAにおける複雑なセンチメント依存関係のモデリングが向上するか？
• RQ3 文脈誘導型注意メカニズムは、センチメント分類における注意分布およびモデルの解釈可能性にどのように影響するか？
• RQ4 補助文の付加は、文脈に配慮したTABSAモデルの性能にどの程度影響を及けるか？

主な発見

• QACG-BERTは、SentiHoodおよびSemEval-2014（タスク4）の両データセットで最先端の性能を達成し、F1スコアで先行のSOTAモデルを上回っている。
• QACG-BERTモデルは、価格アスペクトに対して「rent」と「cheaper」のような文脈的に関連する語に高い勾配重要度を割り当てることを学習しており、LOC1に対しては「costs」、LOC2に対しては「cheap」のようなターゲット固有のセンチメントサインを正しく特定している。
• 準注意の可視化から、特に価格文脈では感情的に否定的とされる「nice」のような語に対して負の注意重みが学習されていることが示され、このようなトークンの重要度を低減している。
• 双方向ゲーティング要因λ_A^hは、文脈の影響を調整する能力を学習しており、わずかに負の値をとることで、不要または誤解を招く可能性のある注意ヘッドの抑制が可能になっている。
• 最終的な注意行列Â^hには正および負の重みが含まれており、モデルが減算的注意を実行できることを示しており、これは標準的なソフトマックス注意には欠けている機能である。
• 一部のケースで指標がわずかに低下するものの、補助文を付加して訓練してもモデルは強固な性能を維持しており、入力の摂動に対して耐性があることが示された。