[論文レビュー] SentiLR: Linguistic Knowledge Enhanced Language Representation for Sentiment Analysis.

Pei Ke, Haozhe Ji+3 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 51被引用数 27

ひとこと要約

SentiLR は、事前学習段階で語彙レベルの言語知識（品詞タグと SentiWordNet を用いた感情極性）を統合することで、感情分析を向上させる、新しい言語表現モデルである。SentiLR は、文レベルの感情ラベルが与えられたもとで言語知識を回復するタスクと、言語知識を強化した文脈を用いてラベルを予測するタスクの2つのサブタスクを持つラベルに注意を向けるマスク言語モデル（LA-MLM）を導入し、文レベルおよびアスペクトレベルの感情分析タスクで最先端の性能を達成した。

ABSTRACT

Most of the existing pre-trained language representation models neglect to consider the linguistic knowledge of texts, whereas we argue that such knowledge can promote language understanding in various NLP tasks. In this paper, we propose a novel language representation model called SentiLR, which introduces word-level linguistic knowledge including part-of-speech tag and prior sentiment polarity from SentiWordNet to benefit the downstream tasks in sentiment analysis. During pre-training, we first acquire the prior sentiment polarity of each word by querying the SentiWordNet dictionary with its part-of-speech tag. Then, we devise a new pre-training task called label-aware masked language model (LA-MLM) consisting of two subtasks: 1) word knowledge recovering given the sentence-level label; 2) sentence-level label prediction with linguistic knowledge enhanced context. Experiments show that SentiLR achieves state-of-the-art performance on several sentence-level / aspect-level sentiment analysis tasks by fine-tuning, and also obtain comparative results on general language understanding tasks.

研究の動機と目的

• 既存の事前学習済み言語モデルが、感情理解の向上に向けた言語知識を十分に活用できないという限界を解決すること。
• SentiWordNet からの事前感情極性と品詞タグを統合することで、感情分析のための表現学習が向上するかどうかを調査すること。
• 言語知識と文レベルの感情ラベルを共同で活用する新しい事前学習目的を設計し、下流タスクの性能を向上させること。
• 提案されたモデルの有効性を、感情特化タスクおよび一般言語理解タスクの両方で評価すること。

提案手法

• 各単語の品詞タグを用いて SentiWordNet を照会することで、事前感情極性を取得する。
• 2つのサブタスクを持つラベルに注意を向けるマスク言語モデル（LA-MLM）を設計する：(1) 文レベルのラベルが与えられたもとで、マスクされた言語知識（品詞タグと感情極性）を回復するタスク、(2) 言語知識で強化された文脈を用いて文レベルのラベルを予測するタスク。
• 事前学習段階で、モデルを品詞タグと感情スコアに条件づけることで、言語知識を入力表現に統合する。
• LA-MLM 目的を用いて大規模なテキストで SentiLR を事前学習し、文脈表現を言語的特徴と感情ラベルの両方に整合させる。
• 得られたモデルを、文レベルおよびアスペクトレベルの感情分類を含む下流の感情分析タスクで微調整する。
• 感情分析ベンチマークおよび一般 NLP タスクでの性能を評価し、転移可能性と有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 品詞タグと SentiWordNet の感情極性を統合することで、感情分析のための言語表現が向上するか？
• RQ2 言語知識を活用するラベルに注意を向けるマスク言語モデルの目的が、感情分類タスクの性能向上に寄与するか？
• RQ3 SentiLR は、感情特化タスクおよび一般言語理解ベンチマークにおいて、既存の事前学習モデルと比較してどうなるか？
• RQ4 言語知識の統合が、感情分析におけるゼロショットまたはフェイワショット転移学習にどの程度寄与するか？

主な発見

• 微調整後、SentiLR は複数の文レベル感情分析ベンチマークで最先端の性能を達成した。
• アスペクトレベルの感情分析タスクにおいても、競争力のある結果を達成し、微細な感情理解への有効性を示した。
• 一般言語理解タスクにおいても、強力な汎用言語モデルと同等の性能を発揮した。これは、広範な転送可能性を示している。
• アブレーションスタディにより、言語知識の統合と LA-MLM 事前学習目的の両方が、性能向上に顕著な寄与をしていることが確認された。
• SentiWordNet から得た感情極性と品詞タグの使用により、モデルが文脈内の感情関連特徴をよりよく捉える能力が向上した。
• ラベルに注意を向ける事前学習目的により、文脈表現と感情ラベルの整合性が向上し、結果として下流タスクの精度が向上した。