[論文レビュー] Understanding Pre-trained BERT for Aspect-based Sentiment Analysis

Hu Xu, Lei Shu+2 more|arXiv (Cornell University)|Oct 31, 2020

Sentiment Analysis and Opinion Mining参考文献 32被引用数 7

ひとこと要約

本稿は、BERTのマスクされた言語モデル化（MLM）事前学習が、アスペクトベースセンチメント分析（ABSA）の特徴をどのように捉えているかを調査し、BERTがドメイン固有の意味論とアスペクトIDに大部分の表現能力を割り当てている一方で、意見要約に最小限の特徴を使用していることが明らかになった。アスペクト抽出では優れたパフォーマンスを示すが、MLMは意見極性のモデル化が不十分であるため、センチメント分類のための弱い事前学習タスクである。

ABSTRACT

This paper analyzes the pre-trained hidden representations learned from reviews on BERT for tasks in aspect-based sentiment analysis (ABSA). Our work is motivated by the recent progress in BERT-based language models for ABSA. However, it is not clear how the general proxy task of (masked) language model trained on unlabeled corpus without annotations of aspects or opinions can provide important features for downstream tasks in ABSA. By leveraging the annotated datasets in ABSA, we investigate both the attentions and the learned representations of BERT pre-trained on reviews. We found that BERT uses very few self-attention heads to encode context words (such as prepositions or pronouns that indicating an aspect) and opinion words for an aspect. Most features in the representation of an aspect are dedicated to the fine-grained semantics of the domain (or product category) and the aspect itself, instead of carrying summarized opinions from its context. We hope this investigation can help future research in improving self-supervised learning, unsupervised learning and fine-tuning for ABSA. The pre-trained model and code can be found at https://github.com/howardhsu/BERT-for-RRC-ABSA.

研究の動機と目的

• BERTのラベルなしレビューにおける自己教師あり事前学習が、下流のABSAタスクをどのように支援するかを理解すること。
• マスクされた言語モデル化（MLM）の目的関数が、アスペクト抽出とセンチメント分類に不可欠な特徴を学習するかを調査すること。
• 事前学習済みBERT表現が意見極性を符号化しているか、それとも主にアスペクト意味論とドメインコンテキストに敏感であるかを特定すること。
• 学習済み表現の一般化能を分析することで、ゼロショットまたは非教師ありABSAの可能性を評価すること。
• MLMがABSAのための事前学習タスクとしての限界を特定し、改善された自己教師あり学習の方向性を示すこと。

提案手法

• アマゾンとYelpのレビューを統合した20GB以上のコーパスを用いて、BERTを事前学習し、ドメインカバレッジを向上させた。
• 分析にSemEval-2014およびSemEval-2016データセットを用い、微調整を行わず、隠れ表現とアテンションヘッドを検証した。
• 最終BERT層におけるアスペクトトークンと非アスペクトトークンの潜在空間をt-SNE可視化することで分析した。
• 凍結されたBERT表現を用いてL1正則化付きロジスティック回帰プローブを訓練し、アスペクトおよびセンチメント分類に顕著なニューロンを同定した。
• 複数語アスペクトのトークン表現を平均化し、潜在空間におけるクラスタリングを分析した。
• 異なる極性からの意見語の表現を比較することで、感情が特定の部分空間に符号化されているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 BERTのMLM事前学習は、ABSAにおけるアスペクトと非アスペクトを区別する特徴をどの程度学習するか？
• RQ2 BERTの学習済み表現は、アスペクトのセンチメント極性をどの程度正確に符号化しているか？ また、これらの特徴は特定のニューロンに集中しているか？
• RQ3 BERTの潜在空間に、微調整なしでドメインを超えてアスペクトを検出できる一般化可能なニューロンが存在するか？
• RQ4 アスペクト表現の潜在空間は、意味的類似性よりも意見極性をより強く反映しているか？
• RQ5 なぜMLMはエンドツーエンドABSA、特にセンチメント分類において弱い事前学習タスクとなるのか？

主な発見

• BERTはドメイン固有の意味論とアスペクトIDに大部分の表現能力を割り当てており、意見要約に最小限の特徴が割り当てられている。
• アスペクト表現は意味的類似性とドメインに基づいてクラスタリングされており、アスペクトの意味論とコンテキストが強く符号化されているが、感情は符号化されていない。
• BERTの潜在空間に、アスペクト抽出に一貫して顕著なニューロンは存在せず、1つのニューロンのみを用いた場合、F1は79％（全ニューロン）から31％（1つのニューロン）に低下した。
• 凍結されたBERT表現に対するプローブを用いたセンチメント分類では83％のF1が達成されたが、支配的ニューロンは出現しなかったため、感情符号化は分散型であると示唆された。
• 異なる極性からの意見語は潜在空間の重複領域に位置しており、感情が別々の部分空間に符号化されているのではなく、意味的・文脈的ヒントを通じて符号化されていることが示唆された。
• MLMの目的関数は、アスペクト表現と関連する意見を強く結びつけていないため、意見要約を必要とするエンドツーエンドABSAタスクにおける根本的な制限を示している。