[論文レビュー] Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models

Natesh Reddy, Pranaydeep Singh+1 more|arXiv (Cornell University)|Nov 23, 2020

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本稿では、文脈的埋め込み（BERT）と非文脈的埋め込み（GloVe）を比較することで感情極性を推定する軽量な手法、BERT-ILを提案する。単純な比較ネットワークを訓練し、BERTの層の一部のみを微調整することで、SemEval 2014およびSemEval 2016のデータセットで最先端の性能を達成した。従来手法と比較して、モデルサイズを最大65%削減し、学習時間を最大75%短縮した。

ABSTRACT

When performing Polarity Detection for different words in a sentence, we need to look at the words around to understand the sentiment. Massively pretrained language models like BERT can encode not only just the words in a document but also the context around the words along with them. This begs the questions, "Does a pretrain language model also automatically encode sentiment information about each word?" and "Can it be used to infer polarity towards different aspects?". In this work we try to answer this question by showing that training a comparison of a contextual embedding from BERT and a generic word embedding can be used to infer sentiment. We also show that if we finetune a subset of weights the model built on comparison of BERT and generic word embedding, it can get state of the art results for Polarity Detection in Aspect Based Sentiment Classification datasets.

研究の動機と目的

• BERTが完全な微調整なしに、アスペクト語に対して感情情報を内蔵してエンコードしているかどうかを調査すること。
• BERTとGloVeの埋め込みの比較を活用した軽量なモデルを構築し、アスペクト極性検出に役立たせること。
• 計算コストと学習時間を最小限に抑えるとともに、標準的なABSAベンチマークで最先端の性能を達成すること。
• 完全なBERT微調整を回避することで、モデル効率を向上させ、炭素排出量を削減すること。
• 比較ベースの感情推論メカニズムにより、より良いドメイン一般化を実現すること。

提案手法

• モデルは、アスペクト語のBERT文脈的埋め込みとGloVe非文脈的埋め込みを入力とする比較ネットワークを使用する。
• 学習可能な比較メカニズムが、2種類の埋め込みタイプ間の類似性または差分表現を計算し、感情極性を推定する。
• 比較ネットワークは、凍結されたBERTおよびGloVe埋め込みの上に、少数の学習可能なパラメータを持つ形で、エンドツーエンドで訓練される。
• 性能向上のため、BERT-IL Finetunedバージョンでは、BERTの最後の5層を微調整する。
• AutoIntなどの相互作用層を用いて、複数のBERT層からの表現を統合し、文脈解釈を強化する。
• 標準的なABSA指標を用いて、SemEval 2014、SemEval 2016、SentiHoodデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 完全な微調整がなくても、BERTがアスペクト語に対して感情情報を内蔵してエンコードしているか？
• RQ2 文脈的（BERT）と非文脈的（GloVe）埋め込みの単純な比較が、アスペクトレベルの感情を効果的に推定できるか？
• RQ3 この比較に基づく軽量モデルが、最小限の計算コストで最先端の性能を達成できるか？
• RQ4 この比較ベースのモデルの性能は、完全なBERT微調整や他の最先端手法と比較して、正確性、モデルサイズ、学習時間の観点でどうか？
• RQ5 完全な微調整が実用的でない場合でも、この手法は限られたデータでドメインを越えて良好に一般化できるか？

主な発見

• BERT-IL Finetunedは、SemEval 2016のサブタスク1でHAABSAを0.7%上回り、SemEval 2014およびSemEval 2016で最先端の性能を達成した。
• SentiHoodデータセットでは、BERT-IL Finetunedは90.8%の正確性を達成し、BERTベースラインを上回り、より複雑なモデル（BERT-pair-QAM）と同等の性能を示した。
• BERT-ILモデルは、モデルサイズがわずか1119 MBで、SemEval 2014で84.6%の正確性を達成し、前方/後方伝搬が1回あたり0.08秒で、従来手法と比較して最大3倍小さく、4倍速くなった。
• BERT-IL Finetunedは、BATやBERT-PTといった最先端モデルと比較して、学習時間を最大75%短縮し、モデルサイズを最大65%削減した。
• 完全なBERT微調整がなくても、比較ベースの手法が強力な性能を示した。これは、感情情報がBERTの文脈的表現に暗黙的に捉えられていることを示唆している。
• この手法は、SentiHoodのようなデータ拡張により訓練データが3倍に増加したデータセットに対しても、堅牢な性能を示し、スケーラビリティと一般化の可能性を示した。