[論文レビュー] Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference

Youwei Song, Jiahai Wang+3 more|arXiv (Cornell University)|Feb 12, 2020

Sentiment Analysis and Opinion Mining参考文献 14被引用数 59

ひとこと要約

この論文は、中間層のBERT CLSトークン表現をLSTMや注意機構で結合することで、素のBERTと比べABSAとNLIの性能が向上し、軽微な調整で最先端モデルへ拡張できることを示している。

ABSTRACT

Aspect based sentiment analysis aims to identify the sentimental tendency towards a given aspect in text. Fine-tuning of pretrained BERT performs excellent on this task and achieves state-of-the-art performances. Existing BERT-based works only utilize the last output layer of BERT and ignore the semantic knowledge in the intermediate layers. This paper explores the potential of utilizing BERT intermediate layers to enhance the performance of fine-tuning of BERT. To the best of our knowledge, no existing work has been done on this research. To show the generality, we also apply this approach to a natural language inference task. Experimental results demonstrate the effectiveness and generality of the proposed approach.

研究の動機と目的

• ABSAにおいて最終層を超えるBERTの中間層を活用する動機づけ。
• 多層 CLS 表現を融合するための pooling 戦略（LSTM-Poolingと Attention-Pooling）を提案。
• 複数のデータセットでABSA性能の改善を実証。
• 大規模NLIタスク（SNLI）および最先端モデル（MT-DNN）への適用を通じて一般性を示す。

提案手法

• すべてのBERT中間層からCLS隠れ状態を抽出する。
• 2つのプーリング戦略を提示する：LSTM-PoolingはCLS状態上のLSTMを介して層表現を結合する。Attention-PoolingはCLS状態間でドット積アテンションを用いて加重和を計算する。
• プーリングモジュールを用いて分類のためにBERTをファインチューニングする。
• ABSAデータセットで vanilla BERT および他のBERTベースの派生モデルと比較する。
• 同じプーリング戦略をMT-DNNにも適用して一般性を検証する。
• ABSA実験には10折交差検証を、SNLIには標準の開発・テスト分割を用いる。

実験結果

リサーチクエスチョン

• RQ1 プーリングを介して中間層のCLS表現を組み込むことは、標準の最終層ファインチューニングよりABSAの性能を向上させるか？
• RQ2 どのプーリング戦略（LSTM対Attention）が、ドメインを跨いだABSA結果でより良い成績を出すか？
• RQ3 このアプローチは大規模NLIタスクおよび他のBERTベースモデルへ一般化可能か？
• RQ4 ABSAデータセットにおけるpost-trained BERT系と比べて本手法の性能はどうか？

主な発見

• BERT-LSTMとBERT-Attentionは、Laptop・Restaurant・Twitterの3つのABSAデータセットすべてでvanilla BERTを上回る。
• プーリング戦略は、LaptopおよびRestaurantデータセットでpost-trained BERT系と同等またはそれを上回る改善を提供。
• SNLIではBERT-AttentionとBERT-LSTMがvanilla BERTを上回り、MT-DNN系もプーリングの恩恵を受け、一般性を示す。
• 改善はデータセット全体で一貫しており、プーリング手法は他のタスクへの適用も容易である。