[論文レビュー] Improving BERT Performance for Aspect-Based Sentiment Analysis

Akbar Karimi, Leonardo Rossi+1 more|arXiv (Cornell University)|Oct 22, 2020

Sentiment Analysis and Opinion Mining参考文献 28被引用数 28

ひとこと要約

本稿では、BERTの微調整を一切行わずに、Aspect-Based Sentiment Analysis (ABSA) タスクにおけるBERTの性能を向上させる2つの軽量モジュール—Parallel Aggregation (P-SUM) と Hierarchical Aggregation (H-SUM)—を提案する。最終的なBERT層からの表現を、Aspect ExtractionにはCRF、Aspect Sentiment Classificationには交差エントロピー損失を用いて集約することで、4エポックで学習したにもかかわらず、ASCタスクでBERT-PTを最大+2.00 Macro-F1で上回る最先端の結果を達成した。

ABSTRACT

Aspect-Based Sentiment Analysis (ABSA) studies the consumer opinion on the market products. It involves examining the type of sentiments as well as sentiment targets expressed in product reviews. Analyzing the language used in a review is a difficult task that requires a deep understanding of the language. In recent years, deep language models, such as BERT \cite{devlin2019bert}, have shown great progress in this regard. In this work, we propose two simple modules called Parallel Aggregation and Hierarchical Aggregation to be utilized on top of BERT for two main ABSA tasks namely Aspect Extraction (AE) and Aspect Sentiment Classification (ASC) in order to improve the model's performance. We show that applying the proposed models eliminates the need for further training of the BERT model. The source code is available on the Web for further research and reproduction of the results.

研究の動機と目的

• BERTのバックボーンを再トレーニングせずに、Aspect-Based Sentiment Analysis (ABSA) タスクにおけるBERTの性能を向上させること。
• 標準的なBERT微調整がABSAの序列ラベル付けおよびテキスト分類タスクにおいて抱える制限を解消すること。
• 後続のBERT層から得られるより深い意味的表現が、アスペクト抽出およびセンチメント分類を向上させられるかを検証すること。
• 標準的なエポック数を超えて長期間学習することで、過学習を引き起こさずに性能が向上するかを検証すること。
• 既存のBERTベースのABSAパイプラインと互換性を持つ、即挿し可能な拡張フレームワークを提供すること。

提案手法

• 最終4層のBERT層から独立して損失を計算し、要素ごとの平均化によって統合するParallel Aggregation (P-SUM) を提案する。
• 最終4層のBERT層をスタックし、最終層の出力から1つの損失を計算するHierarchical Aggregation (H-SUM) を導入する。
• 序列ラベル付けのためのAspect Extraction (AE) に条件付きランダムフィールド (CRF) を使用し、ラベルの依存関係をモデル化する。
• Aspect Sentiment Classification (ASC) に交差エントロピー損失を適用し、最終BERT層の[CLS]トークン表現を用いる。
• レストランおよびラップトップのデータセットでドメイン特化された事前学習を実施したBERT-PT埋め込みを初期化に用いる。
• BERTの重みを固定したまま、追加された層に限定してエンドツーエンドで学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 BERTのより深い層からの表現を集約することで、BERTの微調整なしにABSAタスクの性能向上が達成可能か？
• RQ2 BERTの最終層を階層的または並列的に集約することで、AEおよびASCの両タスクでより良い結果が得られるか？
• RQ3 低リソースABSA環境下でも、標準的なエポック数を超えて長期間学習することで過学習を引き起こさずに性能が向上するか？
• RQ4 AEにおけるCRFの使用は、標準的なCRFフリー手法と比較してどのように差が現れるか？
• RQ5 即挿し可能なモジュールフレームワークは、少ないエポック数で標準的なBERT-PT微調整を上回る性能を発揮できるか？

主な発見

• レストランデータセットにおけるAEタスクで、H-SUMはMacro-F1 82.34を達成し、BERT-PT（82.64）を0.30ポイント上回った。
• ラップトップデータセットにおけるASCタスクで、H-SUMはMacro-F1 79.67を達成し、BERT-PT（76.96）を2.71ポイント上回った。
• レストランデータセットにおけるASCタスクで、H-SUMはMacro-F1 79.67を達成し、BERT-PTを+2.00ポイント上回った。
• 4エポックでの学習で、すべてのタスクおよびデータセットで30エポック学習したBERT-PTモデルを上回った。
• 検証損失はエポック数が増えるにつれて継続的に減少し、限られた学習データ下でも過学習の兆候がなかった。
• 最後の4つのBERT層を用いることで最良の性能が得られ、より深い層では強力な意味的表現能力が顕著に現れた。