[論文レビュー] Can Large Language Models Aid in Annotating Speech Emotional Data? Uncovering New Frontiers

Siddique Latif, Muhammad Usama+2 more|arXiv (Cornell University)|Jul 12, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文では、音声の周波数、エネルギー、性別などの音声コンテキストを併記したトランスクリプトと組み合わせて、大規模言語モデル（LLM）、特にChatGPTを用いて音声感情データにアノテーションを付与する手法を提案する。音声を離散的特徴に変換するVQ-VAEを活用し、few-shotプロンプティングを適用することで、データ拡張による音声感情認識（SER）性能の向上を実現。テキストのみのLLMアノテーションに比べて優れた性能を示し、IEMOCAPおよびMSP-IMPROVデータセットにおいて最先端の結果を達成した。

ABSTRACT

Despite recent advancements in speech emotion recognition (SER) models, state-of-the-art deep learning (DL) approaches face the challenge of the limited availability of annotated data. Large language models (LLMs) have revolutionised our understanding of natural language, introducing emergent properties that broaden comprehension in language, speech, and vision. This paper examines the potential of LLMs to annotate abundant speech data, aiming to enhance the state-of-the-art in SER. We evaluate this capability across various settings using publicly available speech emotion classification datasets. Leveraging ChatGPT, we experimentally demonstrate the promising role of LLMs in speech emotion data annotation. Our evaluation encompasses single-shot and few-shots scenarios, revealing performance variability in SER. Notably, we achieve improved results through data augmentation, incorporating ChatGPT-annotated samples into existing datasets. Our work uncovers new frontiers in speech emotion classification, highlighting the increasing significance of LLMs in this field moving forward.

研究の動機と目的

• 大規模言語モデル（LLM）が、音声感情認識（SER）における人間によるアノテーションデータの不足という課題に対し、効果的に音声感情データにアノテーションを付与できるかを調査すること。
• テキストのみのLLMアノテーションの限界を克服するため、周波数、エネルギー、性別などの音声特徴を統合して文脈認識を向上させること。
• LLMとVQ-VAEによる音声表現を組み合わせた、音声感情認識におけるより正確なアノテーションを実現する新しいパイプラインの開発。
• 人間によるアノテーションデータと比較して、LLMベースのアノテーションの性能を評価し、SERモデルのデータ拡張における有効性を検証すること。
• 感情計算分野における大規模データアノテーションにおいて、LLMと人間アノテーターの間のコストと精度のトレードオフを明らかにすること。

提案手法

• 著者らは、ChatGPTを用いて、トランスクリプトを入力として、ゼロショットまたはfew-shotプロンプティングを適用して感情ラベルを生成する。
• 新しい音声コンテキスト統合手法を提案し、平均エネルギー、周波数、発話者の性別をLLMプロンプトに組み込むことで、アノテーションの関連性を向上させる。
• ベクトル量子化変分オートエンコーダー（VQ-VAE）を用いて、生の音声を固定長の離散的表現に変換し、これをプロンプト内の音声コンテキストとして統合する。
• 少数のラベル付き例を提示するfew-shotプロンプティングを適用し、アノテーションの一貫性と正確性を向上させる。
• LLMが生成したアノテーションを用いて、既存の人間アノテーション済みSERデータセット（例：IEMOCAP、MSP-IMPROV）を拡張し、再訓練することで性能向上を評価する。
• 標準的なSER指標（例：正確度、F1スコア）を用いてテストセット上で性能を評価し、人間アノテーションデータ、LLMアノテーションデータ、ハイブリッドデータセットで学習したモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 テキストのみに依存する場合、ChatGPTのようなLLMは音声感情データに効果的にアノテーションを付与できるか？
• RQ2 周波数、エネルギー、性別などの音声特徴をLLMプロンプトに統合することで、感情アノテーションの品質にどのような影響を与えるか？
• RQ3 LLMが生成したアノテーションをデータ拡張に用いることで、音声感情認識モデルの性能がどの程度向上するか？
• RQ4 few-shotプロンプティングとゼロショットプロンプティングの両者を比較した場合、アノテーションの一貫性とモデル性能にどのような差が生じるか？
• RQ5 感情計算分野における大規模データアノテーションにおいて、LLMと人間アノテーターの間のコストと精度のトレードオフはどのようなものか？

主な発見

• テキストのみのLLMアノテーションでは、音声コンテキストが欠落しているため、音声感情認識タスクへの一般化が不十分であった。
• 周波数、エネルギー、性別などの音声コンテキストをLLMプロンプトに統合することで、アノテーション品質とSER性能が顕著に向上した。
• VQ-VAEを用いて音声を離散的特徴に符号化することで、LLMプロンプト内での音声コンテキスト表現が強化され、より正確な感情予測が可能になった。
• 少数のラベル付き例を提示するfew-shotプロンプティングは、ゼロショットプロンプティングに比べて、LLMが生成するアノテーションの一貫性と正確性を大幅に向上させた。
• LLMアノテーションを用いたデータ拡張により、IEMOCAPおよびMSP-IMPROVデータセットにおけるSERモデル性能が向上し、一部のケースでは人間アノテーションデータのみで学習したモデルを上回った。
• ChatGPTを用いたIEMOCAPデータのアノテーションコストは約30ドルであり、人間アノテーションに比べて大幅に削減されたが、精度の低下というトレードオフが伴った。