[論文レビュー] Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

Chi Sun, Luyao Huang+1 more|arXiv (Cornell University)|Mar 22, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用数 349

ひとこと要約

論文は、補助文を構築してBERTをファインチューニングすることにより、(T)ABSAを文対の分類タスクに変換し、SentiHoodとSemEval-2014 Task 4で新しい最先端を達成する。

ABSTRACT

Aspect-based sentiment analysis (ABSA), which aims to identify fine-grained opinion polarity towards a specific aspect, is a challenging subtask of sentiment analysis (SA). In this paper, we construct an auxiliary sentence from the aspect and convert ABSA to a sentence-pair classification task, such as question answering (QA) and natural language inference (NLI). We fine-tune the pre-trained model from BERT and achieve new state-of-the-art results on SentiHood and SemEval-2014 Task 4 datasets.

研究の動機と目的

• ABSAとTABSAが、ユーザーコメントにおけるターゲット・アスペクトの極性を細粒度で理解する必要があることを動機づける。
• 補助文を用いて、(T)ABSAを文対分類タスクへ変換することを提案する。
• ABSAタスクでBERT-pairモデルが、単一文BERTのベースラインを上回ることを示す。
• SentiHoodとSemEval-2014 Task 4データセットでの最先端結果の実証的証拠を提供する。

提案手法

• ターゲット-アスペクトのペアから補助文を構築し、TABSAを文対分類タスクへ変換する。
• 補助文を作成するための4つの構築法を定義する：QA-M、NLI-M、QA-B、NLI-B。
• 標準の分類ヘッドを用いてソフトマックスでカテゴリを決定する、文対入力に対する事前学習済みBERTのファインチューニング。
• 四つの構築法を横断して、BERT-single（単一文）とBERT-pair（文対）構成を比較する。
• 精度、Macro-F1、AUCを評価指標として、SentiHoodとSemEval-2014 Task 4データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 補助文を介してTABSA/ABSAを文対分類タスクへ変換することで、単一文BERTのファインチューニングより性能を向上させることができるか。
• RQ2 TABSAとABSAにおいて、どの補助文構築法（QA対NLI、ラベル組み込みの有無）は最良の結果をもたらすか。
• RQ3 データセットとサブタスク（アスペクト検出と極性）を通じて、BERT-pairモデルは一貫してBERT-singleモデルを上回るか。

主な発見

• BERT-pairモデルは、SentiHoodデータセットのアスペクト検出と感情分類の両方で、すべてのベースラインを上回る。
• BERT-pairの派生の中で、QAベースの構築は感情分類で優れ、NLIベースの構築はアスペクト検出で優れる傾向がある。
• SemEval-2014 Task 4では、BERT-pair構成が最先端の結果を達成し、NLI-Bがアスペクト検出で、QA-Bが極性で強い性能を発揮する。
• 改善は、TABSAを文対タスクとして表現し、QA/NLI様式の入力でBERTの強みを活用し、補助文によってデータを効果的に拡張したことに起因する。