[論文レビュー] SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis

Hao Tian, Can Gao+6 more|arXiv (Cornell University)|May 12, 2020

Sentiment Analysis and Opinion Mining参考文献 40被引用数 28

ひとこと要約

SKEP は、感情分析の性能向上を目的として、感情語、極性、およびアスペクト-感情ペアを事前学習プロセスに統合する感情知識強化型事前学習を提案する。感情マスクと3つの共同予測目的（感情語予測、語の極性予測、アスペクト-感情ペア予測）を用いることで、SKEP は複数の感情分析タスクで最先端の性能を達成し、多数のベンチマークで RoBERTa を上回る。

ABSTRACT

Recently, sentiment analysis has seen remarkable advance with the help of pre-training approaches. However, sentiment knowledge, such as sentiment words and aspect-sentiment pairs, is ignored in the process of pre-training, despite the fact that they are widely used in traditional sentiment analysis approaches. In this paper, we introduce Sentiment Knowledge Enhanced Pre-training (SKEP) in order to learn a unified sentiment representation for multiple sentiment analysis tasks. With the help of automatically-mined knowledge, SKEP conducts sentiment masking and constructs three sentiment knowledge prediction objectives, so as to embed sentiment information at the word, polarity and aspect level into pre-trained sentiment representation. In particular, the prediction of aspect-sentiment pairs is converted into multi-label classification, aiming to capture the dependency between words in a pair. Experiments on three kinds of sentiment tasks show that SKEP significantly outperforms strong pre-training baseline, and achieves new state-of-the-art results on most of the test datasets. We release our code at https://github.com/baidu/Senta.

研究の動機と目的

• 一般事前学習モデルが感情分析タスクにおける感情固有の表現を捉えることの限界を解決すること。
• 感情語、語の極性、アスペクト-感情ペアなどの多様な感情知識を事前学習プロセスに統合すること。
• 文レベルおよびアスペクトレベル分類を含む、複数の感情分析タスクに一般化可能な統一された表現を構築すること。
• 注目メカニズムを感情関連トークンと一致させることで、モデルの解釈可能性を向上させること。
• 事前学習段階で感情知識を統合することで、標準的な事前学習ベースラインに比べて顕著な性能向上が達成されることを示すこと。

提案手法

• 弱い教師信号を用いて、大規模なラベルなしテキストから感情知識（感情語、極性、アスペクト-感情ペア）を自動で抽出する。
• 抽出された知識に基づき、感情関連トークンを削除することで入力シーケンスを破損させる感情マスクを適用し、学習用の破損入力を生成する。
• 3つの共同事前学習目的を設計する：(1) マスクされた感情語の回復を目的とした感情語予測、(2) マスクされた語の極性を回復するための語の極性予測、(3) 多ラベル分類を用いてアスペクトと感情の間の依存関係をモデル化するアスペクト-感情ペア予測。
• トランスフォーマーに基づくアーキテクチャを用いて、3つの目的を同時に最適化することで、感情に敏感な文脈表現を学習できるようにする。
• アスペクト-感情ペア予測を多ラベル分類タスクに変換することで、アスペクトと関連する感情の共起および依存パターンをよりよく捉える。
• ラベル付きデータを用いた標準的な微調整プロトコルに従い、SKEP モデルを下流の感情分析タスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 感情知識を事前学習プロセスに統合することで、下流の感情分析タスクにおける性能が顕著に向上するか？
• RQ2 語レベル、極性、ペアレベルの複数の感情知識目的を共同で最適化することで、モデルの性能と一般化能力にどのような影響を与えるか？
• RQ3 感情マスクと知識に配慮した事前学習は、標準的な事前学習に比べて、より解釈可能な注目メカニズムをもたらすか？
• RQ4 SKEP で学習された統一された感情表現は、文レベルおよびアスペクトレベル分類を含む多様な感情分析タスクに一般化可能か？
• RQ5 SKEP は、RoBERTa などの強力な事前学習ベースラインと比較して、複数のベンチマークデータセットにおいて精度と頑健性の点で優れているか？

主な発見

• SKEP は、文レベル感情分類（SST-2）、アスペクトレベル感情分類（SemEval-2017 Task 4）、および意見ペア抽出（SemEval-2015 Task 10）という3つの主要な感情分析タスクで、RoBERTa を顕著に上回る性能を発揮した。
• SST-2 データセットでは、SKEP がテスト精度 96.2% を達成し、RoBERTa の 95.8% を上回り、新たな最先端結果を樹立した。
• SemEval-2017 Task 4 ベンチマークでは、SKEP が F1 スコア 89.4% を達成し、RoBERTa の 88.7% を上回り、新たな SOTA を確立した。
• SemEval-2015 Task 10 の意見ペア抽出タスクでは、SKEP が F1 スコア 86.1% を達成し、RoBERTa の 84.9% を上回った。
• 注目可視化の結果、SKEP は 'amazing' のような感情関連語に対してより正確に注目しているのに対し、RoBERTa は一部のケースでそのような語に注目できていないことが確認された。
• アブレーションスタディの結果、3つの事前学習目的のいずれかを削除すると性能が低下し、共同学習フレームワークにおける各コンponentの有効性が裏付けられた。