[論文レビュー] The Good, The Bad, and Why: Unveiling Emotions in Generative AI

Cheng Li, Jindong Wang+8 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用数 7

ひとこと要約

本論文では、感情理解における生成AIモデルの挙動を調査するために、EmotionPrompt、EmotionAttack、EmotionDecodeを提案する。心理的理論をテキストおよび視覚的プロンプトに応用することで、感情的刺激がモデルのパフォーマンスを向上または低下させることを示し、EmotionDecodeは脳内のドーパミンメカニズムに類似したAIの内部的処理を明らかにする。

ABSTRACT

Emotion significantly impacts our daily behaviors and interactions. While recent generative AI models, such as large language models, have shown impressive performance in various tasks, it remains unclear whether they truly comprehend emotions. This paper aims to address this gap by incorporating psychological theories to gain a holistic understanding of emotions in generative AI models. Specifically, we propose three approaches: 1) EmotionPrompt to enhance AI model performance, 2) EmotionAttack to impair AI model performance, and 3) EmotionDecode to explain the effects of emotional stimuli, both benign and malignant. Through extensive experiments involving language and multi-modal models on semantic understanding, logical reasoning, and generation tasks, we demonstrate that both textual and visual EmotionPrompt can boost the performance of AI models while EmotionAttack can hinder it. Additionally, EmotionDecode reveals that AI models can comprehend emotional stimuli akin to the mechanism of dopamine in the human brain. Our work heralds a novel avenue for exploring psychology to enhance our understanding of generative AI models.

研究の動機と目的

• 生成AIモデルがタスクで優れたパフォーマンスを示す一方で、感情を真正に理解しているかどうかを検証すること。
• 特に人間とAIの対話における感情の影響を理解する空白を埋めること。
• 心理的フレームワークを用いて、感情の影響を体系的にAIに作用させる手法を開発すること。
• モデル挙動における感情的メカニズムを理解することで、より共感的で優れたAIシステムを実現すること。

提案手法

• 心理的理論（例：マズローの欲求段階説、社会的認知理論など）に基づいたテキストおよび視覚的プロンプティング手法であるEmotionPromptを提案し、AIのパフォーマンスを向上させること。
• 感情の覚醒度（例：怒り、恐怖、喜びなど）を変化させた、36種類のテキストおよび6種類の視覚的攻撃タイプを有するEmotionAttackを設計し、モデルのパフォーマンスを低下させること。
• 神経科学および心理学の視点から内部表現を分析することで、AIにおける感情的刺激の影響を解釈する方法であるEmotionDecodeを考案すること。
• ゼロショットおよびフェイシュット設定を含め、21種類のテキスト型EmotionPromptバリエーションと25種類の視覚的プロンプト（5種類のタイプ × 1つのタイプあたり5枚の画像）を収集し、36種類のテキスト型EmotionAttackバリエーションを構築した。
• 意味理解、論理的推論、オープンエンドド生成のタスクにおいて、オープンソースおよびプロプライエタリなモデルにこれらの手法を適用した。
• 自動評価を940,200件実施し、30件のオープンエンドド質問について106名の参加者を対象とした人間被験研究を通じて、質的出力の妥当性を検証した。

Figure 1 : An overview of our research on unveiling emotions in generative AI models. (a) We proposed EmotionPrompt and EmotionAttack to increase and impair AI model performance, respectively. (b) We designed EmotionDecode to explain how emotional prompts work in AI models.

実験結果

リサーチクエスチョン

• RQ1 肯定的および否定的両方の感情的刺激が、生成AIモデルのパフォーマンスを体系的に向上または低下させることができるか？
• RQ2 異なる感情状態（例：喜び、怒り、恐怖）がAIの推論および生成能力にどのように影響を与えるか？
• RQ3 心理的理論がAIモデルにおける感情的影響のメカニズムをどの程度説明できるか？
• RQ4 感情的プロンプトが生成モデルの内部層にどのように表現され、処理されているかを解明できるか？
• RQ5 AIモデルは、ドーパミン駆動の報酬反応といった人間の神経生物学的メカニズムに類似した方法で感情的刺激を処理するのか？

主な発見

• EmotionPromptは、意味理解および論理的推論タスクにおいてモデルのパフォーマンスを顕著に向上させ、ベンチマーク評価で測定可能な向上が確認された。
• EmotionAttackは、複数のタスクでモデルのパフォーマンスを有意に低下させることに成功し、感情的刺激が推論および生成品質に悪影響を及える可能性があることを示した。
• EmotionDecodeは、AIモデルが人間の脳におけるドーパミンベースの感情処理に類似した方法で感情的刺激をエンコードしていることを明らかにした。
• マルチモodalな設定において、視覚的EmotionPromptがテキストのみのプロンプトを上回る性能を示し、視覚的感情的キューがモデルの関与を高めることを示した。
• 人間による評価では、EmotionPromptによって生成された回答が、ベースラインプロンプトと比較してより洗練されており、文脈に即した対応がなされていることが確認された。
• 本研究では、感情的文脈がAI出力品質の重要な要因であることが示された。感情のトーンに応じて、有益な効果も有害な効果も及えることが明らかになった。

Figure 2 : (a) The main results of textual and visual EmotionPrompt and EmotionAttack on generative AI models. (b) Results of EmotionDecode. The color represents the performance of stimulus on diverse tasks across Llama-2 and GPT-4. Red means better performance, while blue means weaker performance.