[論文レビュー] KESA: A Knowledge Enhanced Approach For Sentiment Analysis

Qinghua Zhao, Shuai Ma+1 more|arXiv (Cornell University)|Feb 24, 2022

Topic Modeling被引用数 6

ひとこと要約

KESAは、感情分析の性能向上を図るために、微調整中に統合する2つの軽量で知識強化型の補助タスク——感情語クローズ（SWC）と条件付き感情予測（CSP）——を提案する。感情語のマスキングや大規模な事後学習データに依存せずに、感情分析を向上させる。この手法は、BERTや知識強化モデルを常に上回り、個々のタスクで最大0.86%、MRで0.76%の向上を達成し、パラメータ増加が最小限で、語彙の正確性への依存も低減する。

ABSTRACT

Though some recent works focus on injecting sentiment knowledge into pre-trained language models, they usually design mask and reconstruction tasks in the post-training phase. In this paper, we aim to benefit from sentiment knowledge in a lighter way. To achieve this goal, we study sentence-level sentiment analysis and, correspondingly, propose two sentiment-aware auxiliary tasks named sentiment word cloze and conditional sentiment prediction. The first task learns to select the correct sentiment words within the input, given the overall sentiment polarity as prior knowledge. On the contrary, the second task predicts the overall sentiment polarity given the sentiment polarity of the word as prior knowledge. In addition, two kinds of label combination methods are investigated to unify multiple types of labels in each task. We argue that more information can promote the models to learn more profound semantic representation. We implement it in a straightforward way to verify this hypothesis. The experimental results demonstrate that our approach consistently outperforms pre-trained models and is additive to existing knowledge-enhanced post-trained models. The code and data are released at https://github.com/lshowway/KESA.

研究の動機と目的

• 大規模な事後学習コーパスへの依存を減らし、知識強化型事前学習モデルにおける感情情報の損失を回避すること。
• 語彙の高精度な感情ラベルに依存を最小限に抑えるために、語の感情を出力ラベルではなく入力の事前知識として扱うこと。
• 2つの新しい補助タスクを通じて、微調整段階で感情知識を統合することで、文レベルの感情分類を向上させること。
• 補助タスクにおける多様な感情ラベルを統合するための効果的なラベル結合戦略（統合的 vs. 条件付き）を調査すること。
• 軽量で知識拡張型の微調整が、標準的および既存の知識強化型事前学習モデルを上回ることを示すこと。

提案手法

• 感情語クローズ（SWC）を提案：文内の感情語がマスキングされ、K+1個の選択肢（1つ正解、K個の誤り）が与えられた状態で、モデルは文全体の極性に基づいて正しい感情語を選択する。
• 条件付き感情予測（CSP）を導入：モデルは入力内の特定の語の感情極性を条件として、文全体の感情極性を予測する。語の感情を入力コンテキストとして扱う。
• 各補助タスク内で複数の感情ラベルを統合するために、統合確率と条件付き確率の2つのラベル結合手法を用いる。
• 両方の補助タスクを微調整フェーズにのみ統合し、追加の事後学習を回避し、推論効率を保つ。
• 感情語を'MASK'トークンに置き換えることで、意味的歪みや情報損失を避ける。
• 最適なパフォーマンスが低い補助タスク損失重み（例：0.01）で観察されるように、メインタスク損失に補助タスク損失をバランスよく重み付けする。

実験結果

リサーチクエスチョン

• RQ1 微調整段階で感情知識を注入する補助タスクは、感情分析において事後学習アプローチを上回ることができるか？
• RQ2 語の感情を出力ラベルではなく入力の事前知識として扱うことで、語彙の品質への依存を減らし、モデルの頑健性を向上させることができるか？
• RQ3 統合的および条件付きのラベル結合戦略は、多ラベル感情補助タスクにおけるパフォーマンスにどのように影響するか？
• RQ4 軽量で微調整段階での補助タスクは、推論コストの増加やドメイン特化データの必要性なしに一貫した向上を達成できるか？
• RQ5 知識拡張型微調整におけるメインタスク損失と補助タスク損失の最適なバランスは何か？

主な発見

• KESAは、MRデータセットで0.76%の絶対的向上、SST2で0.38%、SST5で0.72%、IMDBで0.1%の向上を達成し、BERTを上回った。
• SWCタスク単体でも一部のデータセットで最大0.7%のパフォーマンス向上を示し、語レベルの感情監視の価値を示している。
• CSPタスク単体では最大0.86%の向上を示し、語から文への感情モデリングがメインタスク最適化に寄与することを示している。
• SWCとCSPを組み合わせても常にパフォーマンスが向上するとは限らず、潜在的な負の伝搬やタスク競合の可能性を示唆しているが、KESAは全体的にベースラインを上回っている。
• 条件付きラベル結合は、特にSentiLAREにおいて、統合的結合を常に上回るパフォーマンスを示し、デフォルト戦略として推奨される。
• 補助タスクの出力空間が小さいため、標準BERTと比較してパラメータはわずかに0.7%増加し、計算コストも最小限に抑えられる。