[論文レビュー] Refashioning Emotion Recognition Modelling: The Advent of Generalised Large Models

Zixing Zhang, Liyizhe Peng+4 more|arXiv (Cornell University)|Aug 21, 2023

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本論文は、専用の感情認識モデルから一般化された大規模言語モデル（LLMs）へのパラダイム転換を提案し、膨大な事前学習データと文脈理解の活用により、特に少数派の感情分類において優れた性能を示すことを示している。本研究では7つのデータセットで最先端のLLMsを評価し、従来の最先端モデルと比較して一般化性能、説明可能性、文脈に配慮した感情検出の向上が確認された。

ABSTRACT

After the inception of emotion recognition or affective computing, it has increasingly become an active research topic due to its broad applications. Over the past couple of decades, emotion recognition models have gradually migrated from statistically shallow models to neural network-based deep models, which can significantly boost the performance of emotion recognition models and consistently achieve the best results on different benchmarks. Therefore, in recent years, deep models have always been considered the first option for emotion recognition. However, the debut of large language models (LLMs), such as ChatGPT, has remarkably astonished the world due to their emerged capabilities of zero/few-shot learning, in-context learning, chain-of-thought, and others that are never shown in previous deep models. In the present paper, we comprehensively investigate how the LLMs perform in emotion recognition in terms of diverse aspects, including in-context learning, few-short learning, accuracy, generalisation, and explanation. Moreover, we offer some insights and pose other potential challenges, hoping to ignite broader discussions about enhancing emotion recognition in the new era of advanced and generalised large models.

研究の動機と目的

• 大規模言語モデル（LLMs）が、感情認識タスクにおいて、専用のモデルを上回る性能を示すかどうかを調査すること。
• 特に代表されない感情カテゴリに対して、LLMsの一般化能力を多様なデータセットを用いて評価すること。
• LLMベースの感情認識における文脈の役割と、予測精度に与える影響を検討すること。
• プライバシー漏洩や計算リソース制限といった、LLMsを感情計算に導入する際の主な課題を同定すること。
• 今後のLLMベースの感情認識システムにおいて、マルチモーダル入力、モデル圧縮、プライバシー保護技術を統合するための研究ロードマップを提示すること。

提案手法

• 感情認識のベンチマークデータセット7つに対して、3つの最先端の大規模言語モデル（例：GPT-4）を評価すること。
• LLMsの性能を、最先端の専用モデルと比較することで、一般化性能および精度の向上を評価すること。
• LLMの予測における文脈の活用を分析し、文脈的手がかりが感情推定をどのように向上させるかを理解すること。
• 推論時に人種的・性的・居住地などの個人情報が意図せず漏洩する可能性がある、LLMsにおけるプライバシーリスクの調査。
• メモリとレイテンシを削減するため、量子化などのモデル圧縮技術の検討。これにより、リソース制限のあるデバイスへの展開が可能になる。
• 視覚や音声モデルを含むマルチモーダル統合戦略の検討。これにより、テキストのみに依存する入力にとどまらず、感情認識の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 一般化された大規模言語モデルは、多様なデータセットにおいて、専用モデルと比較して優れた感情認識性能を達成できるか？
• RQ2 LLMsは、希少または少数派の感情カテゴリに対して、文脈的情報をどれほど活用して分類精度を向上させられるか？
• RQ3 感情計算へのLLMsの導入に伴うプライバシーリスク、特に意図しない情報漏洩のリスクは何か？
• RQ4 モデル圧縮技術をどのように応用すれば、リソース制限のあるハードウェア上でローカルに実行可能な、オンデバイスの感情認識が可能になるか？
• RQ5 大規模モデルにおいて、テキスト、画像、音声などのマルチモーダル信号を効果的に統合する最適な戦略は何か？

主な発見

• LLMsは、広範な事前学習データへの露出のおかげで、特に少数派の感情カテゴリの識別において優れた性能を示した。
• モデルは強力な一般化能力を示し、感情認識タスクに特化した微調整を施さなくても、複数のベンチマークデータセットで専用モデルを上回った。
• 文脈理解が感情推定を顕著に向上させ、より長いまたはより豊かなテキスト的文脈が提供された場合、LLMsは精度が向上した。
• 評価した4つのLLMsは、意図せず年齢、性別、居住地などの個人情報を漏洩させた。これは、感情計算応用におけるプライバシーリスクを浮き彫りにした。
• 量子化などのモデル圧縮技術は、メモリ容量とレイテンシの削減に不可欠であり、スマートフォンやエッジデバイスへの展開を可能にする。
• マルチモーダル大規模モデル（例：視覚入力付きのGPT-4）は、テキストや画像、その他のモダリティを効果的に統合することで、包括的な感情理解の強力な可能性を示している。