[論文レビュー] Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora

Flor Miriam Plaza-del-Arco, María Teresa Martín Valdivia+1 more|arXiv (Cornell University)|Sep 14, 2022

Sentiment Analysis and Opinion Mining被引用数 14

ひとこと要約

本稿は、多様なテキストコーパスを対象に、自然言語推論（NLI）モデルを用いたゼロショット感情分類のプロンプト工学を調査する。プロンプトの有効性がコーパスに強く依存することを示し、感情名、類義語、語彙ベースの概念を含む複数のプロンプトのアンサンブルを提案することで、教師あり学習データを必要とせず、あらゆるデータセットで強固でほぼ最適な性能を達成することを実証した。

ABSTRACT

Within textual emotion classification, the set of relevant labels depends on the domain and application scenario and might not be known at the time of model development. This conflicts with the classical paradigm of supervised learning in which the labels need to be predefined. A solution to obtain a model with a flexible set of labels is to use the paradigm of zero-shot learning as a natural language inference task, which in addition adds the advantage of not needing any labeled training data. This raises the question how to prompt a natural language inference model for zero-shot learning emotion classification. Options for prompt formulations include the emotion name anger alone or the statement "This text expresses anger". With this paper, we analyze how sensitive a natural language inference-based zero-shot-learning classifier is to such changes to the prompt under consideration of the corpus: How carefully does the prompt need to be selected? We perform experiments on an established set of emotion datasets presenting different language registers according to different sources (tweets, events, blogs) with three natural language inference models and show that indeed the choice of a particular prompt formulation needs to fit to the corpus. We show that this challenge can be tackled with combinations of multiple prompts. Such ensemble is more robust across corpora than individual prompts and shows nearly the same performance as the individual best prompt for a particular corpus.

研究の動機と目的

• モデル開発時における感情ラベルの事前定義が不可能なゼロショット設定における感情分類の課題に対処すること。
• NLIベースのゼロショット学習におけるプロンプトの構成が、異なるテキストコーパス（ツイート、ブログ、イベント説明文）における性能に与える影響を調査すること。
• 一様な普遍的プロンプトが多様な言語レジスタに適応可能かどうか、あるいはプロンプト設計がコーパス固有である必要があるかを特定すること。
• 教師あり学習データを必要とせず、複数のコーパスにわたる強固さと性能を向上させるためのアンサンブルプロンプト戦略の開発と評価すること。
• 類義語や語彙ベースの概念をプロンプトに組み込むことで、ゼロショットNLIにおける感情表現の質が向上するか、その効果がコーパスによって異なるかを検討すること。

提案手法

• 感情名、類義語、定義、および感情語彙（例：EmoLex）からの概念を用いて、各感情カテゴリを表現するプロンプトを構築する。
• 事前学習済みのNLIモデル（DeBERTa、RoBERTa、BART）を3つ用い、入力テキスト（前提）とプロンプトされた感情ラベル（仮説）の間の帰結関係を評価することでテキストを分類する。
• 複数の異なるプロンプトセットからの予測を統合するアンサンブルモデルを訓練および評価し、コーパス間での耐性を向上させる。
• 最良のプロンプトの組み合わせを模擬するためのオラクルアンサンブル戦略を用い、性能の上限を示す。
• 3つのベンチマークデータセット（Tec：ツイート、Blogs：ブログ投稿、ISEAR：イベント説明文）を用いて、マクロ平均の適合率、再現率、F1スコアを評価する。
• 同じデータセットで微調整された教師ありRoBERTaベースラインと比較することで、性能のベンチマークを確立する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトの形式（例：'anger' と 'This text expresses anger'）の選択が、異なるテキストコーパスにおけるゼロショット感情分類の性能にどのように影響するか？
• RQ2 プロンプトの有効性が、ターゲットコーパスの言語レジスタおよびアノテーションスタイルにどれほど依存するか？
• RQ3 複数のプロンプトのアンサンブルは、個々のプロンプトと比較して、多様なコーパス全体にわたる耐性と性能を向上させることができるか？
• RQ4 類義語や語彙ベースの概念をプロンプトに組み込むことで分類性能が向上するか？その効果はコーパスによって異なるか？
• RQ5 ゼロショットNLI感情分類において、概念豊富な広範なプロンプトセットと、高品質な少数のプロンプトを厳選したセットの間で、どのようなトレードオフが生じるか？

主な発見

• 一様なプロンプトはすべてのコーパスで優れた性能を発揮しない。プロンプトの有効性は非常にコーパス固有であり、言語レジスタやアノテーションスタイルに応じて性能が顕著に変動することが判明した。
• 複数のプロンプトのアンサンブルは、各コーパスにおける最良の個別プロンプトとほぼ同等の性能を達成し、多様なデータソースにわたる優れた耐性を示した。
• 手動アノテーションが複雑な推論を含むBlogsコーパスでは、語彙ベースのプロンプト（例：'gift'、'tears'）が基本的な感情名よりも顕著に性能を向上させた。
• 類義語はすべてのコーパスで一貫して性能を向上させ、プロンプトにおける意味的多様性がモデルの一般化能力を高めることを示した。
• オラクルアンサンブルモデル（各コーパスで最も優れたプロンプトを組み合わせたもの）は、最高のF1スコア（例：ISEARで0.80）を達成し、複数のプロンプトが補完的な情報を提供することを示した。
• プロンプトのアンサンブルを用いたDeBERTaモデル（d-ensemble）は、ISEARでF1=0.59を達成し、d-emolexモデル（F1=0.40）を上回った。これにより、プロンプトの多様性の恩恵が裏付けられた。