[論文レビュー] Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|Jun 21, 2021

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本稿では、感情分析の分野における「アスペクトベース」の文脈モデリングにおいて、与えられたアスペクトを文脈外の『手がかり』として扱い、動的に情報フローを制御する、アスペクトに注意を払う文脈エンコーダー（AALSTM, AAGCN, AABERTs）を提案する。これらのモデルはエンコーダ自体にアスペクトの意味を統合することで、関連する情報を保持し、不要な内容を抑制する。ATSAおよびACSAのベンチマークにおいて、最先端の性能を達成するとともに、クロスドメイン設定でも高いロバスト性を示す。

ABSTRACT

Aspect-based sentiment analysis (ABSA) aims to predict the sentiment expressed in a review with respect to a given aspect. The core of ABSA is to model the interaction between the context and given aspect to extract the aspect-related information. In prior work, attention mechanisms and dependency graph networks are commonly adopted to capture the relations between the context and given aspect. And the weighted sum of context hidden states is used as the final representation fed to the classifier. However, the information related to the given aspect may be already discarded and adverse information may be retained in the context modeling processes of existing models. This problem cannot be solved by subsequent modules and there are two reasons: first, their operations are conducted on the encoder-generated context hidden states, whose value cannot change after the encoder; second, existing encoders only consider the context while not the given aspect. To address this problem, we argue the given aspect should be considered as a new clue out of context in the context modeling process. As for solutions, we design several aspect-aware context encoders based on different backbones: an aspect-aware LSTM and three aspect-aware BERTs. They are dedicated to generate aspect-aware hidden states which are tailored for ABSA task. In these aspect-aware context encoders, the semantics of the given aspect is used to regulate the information flow. Consequently, the aspect-related information can be retained and aspect-irrelevant information can be excluded in the generated hidden states. We conduct extensive experiments on several benchmark datasets with empirical analysis, demonstrating the efficacies and advantages of our proposed aspect-aware context encoders.

研究の動機と目的

• 既存のABSAモデルにおける「アスペクトに依存しない問題」を特定・解決すること。具体的には、隠れ状態を生成する過程でアスペクトの意味を無視する点に焦点を当てる。
• エンコーダーのアーキテクチャ自体にアスペクト情報を直接統合することで、エンコーダー後処理のアテンション機構に依存せず、文脈モデリングを改善すること。
• LSTM、GCN、BERTのアスペクトに注意を払うバージョンを設計し、ABSAに最適化されたアスペクトに注意を払う隠れ状態を生成すること。
• エンコーディング段階でアスペクトに注意を払う依存関係をモデリングすることで、特にクロスドメイン環境下でより優れたパフォーマンスとロバスト性を達成できることを示すこと。
• 関係分類など、エンティティまたはアスペクトに注意を払う必要がある自然言語処理タスクにおける文脈モデリングの新しいパラダイムを提供すること。

提案手法

• LSTMにアスペクトに注意を払うゲート機構を導入し、アスペクト埋め込みを用いて入力ゲート、忘れゲート、出力ゲートを動的に調整することで、情報フローを制御する。
• GCNを拡張し、ノード間のメッセージパッシングをアスペクト関連性に基づいて制御するアスペクトに注意を払う畳み込みゲートを導入する。
• BERTを変更し、セグメント埋め込みと[SEP]トークンの使用方法を見直することで、文脈とアスペクトを別々の文として扱うのを回避し、初期段階から統合的モデリングを可能にする。
• 事前学習段階でのアスペクト-文脈相互作用を最適化するために、異なる入力構成を持つ3種類のAABERTs（AABERT1, AABERT2, AABERT3）を設計する。
• 標準的なエンコーダ出力を置き換えるために、アスペクトに注意を払う隠れ状態を下流分類器への入力として使用する。
• LSTM、GCN、BERTアーキテクチャの全般に適用可能な統一フレームワークを構築し、アブレーションおよび比較研究を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アスペクトの意味を文脈エンコーダーに直接統合することで、ABSAにおける「アスペクトに依存しない問題」が軽減されるか？
• RQ2 エンコーディング段階でのアスペクトに注意を払うモデリングは、エンコーディング後のアテンション機構と比較して、感情分類性能をどのように向上させるか？
• RQ3 標準的なエンコーダーと比較して、アスペクトに注意を払うエンコーダーはドメイン間でより一般化性を示すか？
• RQ4 LSTM、GCN、BERTといった異なるアーキテクチャ選択が、アスペクトに注意を払う文脈モデリングに与える影響は何か？
• RQ5 アスペクトに注意を払うモデリングは、複数のアスペクトを含む状況でもより安定したパフォーマンスをもたらすか？

主な発見

• AALSTM, AAGCN, および AABERTs は、ATSAおよびACSAベンチマークの両方で、それらのヴァニラ版と比較して顕著に優れた性能を示し、アスペクトに注意を払うエンコーディングの有効性を裏付けている。
• AABERT1（CLS）は、レストランドメインでマクロ-F1が75.41、ラップトップドメインで73.13を達成し、BERT1（CLS）を上回り、より高いロバスト性を示している。
• AABERT3モデルは、レストランドメインでマクロ-F1が75.68、ラップトップドメインで72.96を記録しており、アスペクトに注意を払う設定での微調整がドメイン一般化性能を向上させていることを示している。
• 複数のアスペクトを含む状況では、AABERTsはBERT1よりもより安定したパフォーマンスを示しており、AABERT3はレストランで75.68、ラップトップで72.96のF1を達成している。一方、BERT1はより大きな変動を示している。
• AALSTMとAAGCNの組み合わせにより、LSTMベースのモデルで新たな最先端性能が達成され、アスペクトに注意を払うコンponent間の相乗効果が確認された。
• AABERTsは、文脈とアスペクト間の意味空間が滑らかになっており、ドメイン特有のバイアスが低減され、ドメイン間での転送性が向上している。