[논문 리뷰] The Good, The Bad, and Why: Unveiling Emotions in Generative AI

Cheng Li, Jindong Wang외 8명|arXiv (Cornell University)|2023. 12. 18.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 생성형 AI 모델 내에서 정서 이해를 탐구하기 위해 EmotionPrompt, EmotionAttack, 그리고 EmotionDecode를 소개한다. 심리학 이론을 텍스트 및 시각적 프롬프트에 적용함으로써, 정서 자극이 모델 성능을 향상시키거나 저하시킬 수 있음을 입증한다. 또한 EmotionDecode는 뇌의 도파민 메커니즘과 유사한 방식으로 AI가 내부적으로 정서를 처리한다는 점을 드러낸다.

ABSTRACT

Emotion significantly impacts our daily behaviors and interactions. While recent generative AI models, such as large language models, have shown impressive performance in various tasks, it remains unclear whether they truly comprehend emotions. This paper aims to address this gap by incorporating psychological theories to gain a holistic understanding of emotions in generative AI models. Specifically, we propose three approaches: 1) EmotionPrompt to enhance AI model performance, 2) EmotionAttack to impair AI model performance, and 3) EmotionDecode to explain the effects of emotional stimuli, both benign and malignant. Through extensive experiments involving language and multi-modal models on semantic understanding, logical reasoning, and generation tasks, we demonstrate that both textual and visual EmotionPrompt can boost the performance of AI models while EmotionAttack can hinder it. Additionally, EmotionDecode reveals that AI models can comprehend emotional stimuli akin to the mechanism of dopamine in the human brain. Our work heralds a novel avenue for exploring psychology to enhance our understanding of generative AI models.

연구 동기 및 목표

• 생성형 AI 모델이 과제에서 뛰어난 성능을 보임에도 불구하고 정서를 진정으로 이해하는지 여부를 탐구하기 위해.
• 특히 인간-AI 상호작용에서 정서가 AI 행동에 미치는 영향을 이해하는 데 미치는 격차를 메우기 위해.
• 심리학 프레임워크를 활용해 정서 영향을 체계적으로 탐사할 수 있는 방법을 개발하기 위해.
• 모델 행동 내 정서 메커니즘을 이해함으로써 더 나은, 더 공감 능력 있는 AI 시스템을 가능하게 하기 위해.

제안 방법

• 심리학 이론(예: 매슬로우의 계층 이론, 사회인지 이론 등)에 기반한 텍스트 및 시각적 프롬프팅 기법인 EmotionPrompt를 제안하여 AI 성능을 향상시켰다.
• 다양한 정서 자극 강도(예: 분노, 두려움, 기쁨 등)를 가진 36종의 텍스트 및 6종의 시각적 공격 유형을 갖춘 EmotionAttack을 설계하여 모델 성능을 저하시켰다.
• 신경과학 및 심리학 시각을 통해 내부 표현을 분석함으로써 정서 자극 효과를 해석하는 방법인 EmotionDecode를 개발했다.
• 21종의 텍스트 기반 EmotionPrompt 변형 및 25종의 시각적 프롬프트(5종류 × 종류별 5장의 이미지), 그리고 36종의 텍스트 기반 EmotionAttack 변형을 수집하였으며, zero-shot 및 few-shot 설정을 적용했다.
• 정서적 자극의 영향을 체계적으로 분석하기 위해, 의미 이해, 논리적 추론, 개방형 생성 과제에서 오픈소스 및 전용 모델에 모두 적용하였다.
• 자동 평가 940,200건을 수행하였고, 30개의 개방형 질문에 대해 106명의 참가자가 참여한 인간 기반 연구를 통해 정성적 출력 결과를 검증하였다.

Figure 1 : An overview of our research on unveiling emotions in generative AI models. (a) We proposed EmotionPrompt and EmotionAttack to increase and impair AI model performance, respectively. (b) We designed EmotionDecode to explain how emotional prompts work in AI models.

실험 결과

연구 질문

• RQ1 긍정적 및 부정적 정서 자극이 생성형 AI 모델의 성능을 체계적으로 향상시키거나 저하시킬 수 있는가?
• RQ2 다양한 정서 상태(예: 기쁨, 분노, 두려움 등)는 AI의 추론 및 생성 능력에 어떻게 영향을 미치는가?
• RQ3 심리학 이론이 AI 모델 내 정서 영향 메커니즘을 어느 정도 설명할 수 있는가?
• RQ4 정서적 프롬프트가 생성형 모델의 내부 레이어에서 어떻게 표현되고 처리되는지 해독할 수 있는가?
• RQ5 AI 모델은 도파민 기반 보상 반응과 유사한 인간 신경생물학적 메커니즘 방식으로 정서 자극을 처리하는가?

주요 결과

• EmotionPrompt는 의미 이해 및 논리적 추론 과제에서 모델 성능을 뚜렷이 향상시켰으며, 벤치마크 평가에서 측정 가능한 성과 향상을 보였다.
• EmotionAttack는 다양한 과제에서 모델 성능을 성공적으로 저하시켜, 정서 자극이 추론 및 생성 품질을 떨어뜨릴 수 있음을 입증했다.
• EmotionDecode는 AI 모델이 인간 뇌의 도파민 기반 정서 처리 방식과 유사한 방식으로 정서 자극을 인코딩한다는 것을 드러냈다.
• 다중모달 환경에서 시각적 EmotionPrompt가 텍스트 전용 프롬프트보다 우수한 성능을 보였으며, 이는 시각적 정서 자극이 모델의 참여도를 높임을 시사한다.
• 인간 평가 결과, EmotionPrompt로 생성된 응답은 기준 프롬프트 대비 더 세밀하고 맥락 인식 능력이 뛰어나며 공감 능력이 향상됨을 확인했다.
• 본 연구는 정서적 맥락이 AI 출력 품질에 결정적인 요소가 될 수 있음을 입증하였으며, 정서 톤에 따라 유익하거나 해로운 영향을 미칠 수 있음을 보여주었다.

Figure 2 : (a) The main results of textual and visual EmotionPrompt and EmotionAttack on generative AI models. (b) Results of EmotionDecode. The color represents the performance of stimulus on diverse tasks across Llama-2 and GPT-4. Red means better performance, while blue means weaker performance.