[論文レビュー] SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge

Pei Ke, Haozhe Ji+3 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 46被引用数 7

ひとこと要約

SentiLARE は、語の品詞タグと SentiWordNet からの文脈に応じたセンチメント極性を、ラベルに依存するマスク言語モデルと呼ばれる新しい事前学習タスクを通じて BERT 形式のアーキテクチャに統合するセンチメントに配慮した事前学習言語モデルである。このモデルは、局所的な言語的知識とグローバルな文表現を早期統合と後期監視によって統合することで、複数のセンチメント分析ベンチマークで最先端の性能を達成する。

ABSTRACT

Most of the existing pre-trained language representation models neglect to consider the linguistic knowledge of texts, which can promote language understanding in NLP tasks. To benefit the downstream tasks in sentiment analysis, we propose a novel language representation model called SentiLARE, which introduces word-level linguistic knowledge including part-of-speech tag and sentiment polarity (inferred from SentiWordNet) into pre-trained models. We first propose a context-aware sentiment attention mechanism to acquire the sentiment polarity of each word with its part-of-speech tag by querying SentiWordNet. Then, we devise a new pre-training task called label-aware masked language model to construct knowledge-aware language representation. Experiments show that SentiLARE obtains new state-of-the-art performance on a variety of sentiment analysis tasks.

研究の動機と目的

• 既存の事前学習モデルが語のレベルの言語的知識（品詞タグやセンチメント極性など）を無視するという限界を解消すること。
• 事前学習表現に文脈的言語的知識を統合することで、下流の NLP タスクにおけるセンチメント理解を向上させること。
• 語のレベルの言語的知識と文のレベルのセンチメントラベルを効果的に結びつける事前学習タスクを設計すること。
• 提案手法がセンチメント分析を越えて、センチメントを含む他の NLP タスクにも一般化可能かどうかを評価すること。

提案手法

• 語とその品詞タグを用いて SentiWordNet を照会することで、各語のセンチメント極性を推定する文脈に応じたセンチメントアテンション機構を採用する。
• 本モデルは、ラベルに依存するマスク言語モデルと呼ばれる新しい事前学習タスクを導入しており、このタスクには2つのサブタスクが含まれる：早期統合（センチメントラベルを入力埋め込みに統合）と後期監視（出力層でラベルを使用）。
• 語のレベルの言語的知識（品詞とセンチメント極性）が入力埋め込みに組み込まれ、文脈表現が豊かにされる。
• 事前学習段階で得られた強化された表現を用いて、下流のセンチメント分析タスクで微調整を行う。
• ラベルに依存するマスク言語モデルタスクは、マスクされた語の予測、品詞タグ予測、センチメント極性予測、文のレベルのセンチメントラベル予測を同時に最適化する。
• RoBERTa、BERT、ALBERT に対して評価を行い、異なる事前学習モデルアーキテクチャ間での移行性を検証する。

実験結果

リサーチクエスチョン

• RQ1 文脈に応じた言語的知識（品詞とセンチメント極性）を事前学習モデルに統合することで、センチメント分析タスクの性能向上が図れるか？
• RQ2 提案されたラベルに依存するマスク言語モデル事前学習タスクは、語のレベルの知識と文のレベルのセンチメントを効果的に結びつけるか？
• RQ3 言語的知識の統合は、センチメント分析を越えて、センチメントを含む他の NLP タスクにも一般化可能か？
• RQ4 提案手法は、文のレベルおよびアスペクトのレベルの両方のセンチメント分析ベンチマークで、既存の最先端モデルを上回る性能を示せるか？

主な発見

• SentiLARE は、SST-2、SST-Less、SST-More および複数のアスペクトレベルタスクを含む、複数のセンチメント分析ベンチマークで新たな最先端性能を達成した。
• SST-More サブセットでは、SentiLARE は RoBERTa より 4.11% 高い正答率を達成し、SentiLARE-EF-LS よりも 2.93% 高く、その事前学習タスクの有効性を示している。
• BERT および ALBERT をベースとする SentiLARE は、全評価タスクでそれらのオリジナルモデルを上回り、本手法の異なる事前学習モデルへの移行性を裏付けている。
• モデルはセンチメント以外のタスクにも一般化可能である：テキストマッチングタスク（物語の続き予測、テキスト的含意、意味的テキスト類似度）において、SentiLARE は RoBERTa の正答率を 1.52% 向上させ、相関係数を最大 0.89 ポints 向上させた。
• アブレーションスタディの結果、ラベルに依存するマスク言語モデルタスクが不可欠であることが確認された。特に SST-More のような複雑なデータセットでは、SentiLARE-EF-LS（後期監視なし）は完全な SentiLARE モデルに比べて性能が劣ることが明らかになった。
• 文脈に応じたセンチメントアテンション機構は、異なる品詞や文脈において語の変動するセンチメント役割を効果的に捉えており、静的センチメント語彙よりも優れた性能を示した。