[논문 리뷰] Emotional Intelligence of Large Language Models

Xuena Wang, Xueting Li외 3명|arXiv (Cornell University)|2023. 07. 18.

Topic Modeling인용 수 6

한 줄 요약

이 연구는 현실적인 사회적 상황에서 복잡한 감정을 이해하는 능력을 평가하기 위해 대규모 언어 모델(Large Language Models, LLMs)의 정서지능(EI)을 평가하는 새로운 심리측정 평가법을 제안한다. GPT-4는 117의 EQ 점수를 기록하여 인간 참가자들의 89퍼센트 이상을 상회했지만, LLMs는 인간과는 질적으로 다른 표현 패턴을 사용함으로써 인간 수준의 성능를 달성하는 데 인간과 유사하지 않은 메커니즘을 활용하고 있음을 시사한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable abilities across numerous disciplines, primarily assessed through tasks in language generation, knowledge utilization, and complex reasoning. However, their alignment with human emotions and values, which is critical for real-world applications, has not been systematically evaluated. Here, we assessed LLMs' Emotional Intelligence (EI), encompassing emotion recognition, interpretation, and understanding, which is necessary for effective communication and social interactions. Specifically, we first developed a novel psychometric assessment focusing on Emotion Understanding (EU), a core component of EI, suitable for both humans and LLMs. This test requires evaluating complex emotions (e.g., surprised, joyful, puzzled, proud) in realistic scenarios (e.g., despite feeling underperformed, John surprisingly achieved a top score). With a reference frame constructed from over 500 adults, we tested a variety of mainstream LLMs. Most achieved above-average EQ scores, with GPT-4 exceeding 89% of human participants with an EQ of 117. Interestingly, a multivariate pattern analysis revealed that some LLMs apparently did not reply on the human-like mechanism to achieve human-level performance, as their representational patterns were qualitatively distinct from humans. In addition, we discussed the impact of factors such as model size, training method, and architecture on LLMs' EQ. In summary, our study presents one of the first psychometric evaluations of the human-like characteristics of LLMs, which may shed light on the future development of LLMs aiming for both high intellectual and emotional intelligence. Project website: https://emotional-intelligence.github.io/

연구 동기 및 목표

• LLMs의 정서지능(EI)을 체계적으로 평가하고, 특히 사회적 맥락에서 복잡한 감정을 이해하는 능력을 분석한다.
• 인간과 LLMs 모두에 적용 가능한 표준화되고 심리측정적으로 타당한 정서 이해(EU) 테스트를 개발한다.
• LLMs가 인간 수준의 정서지능을 달성하는 데 인간과 유사한 인지 메커니즘을 사용하는지 아니면 다른 경로를 따르는지 조사한다.
• 모델 크기, 훈련 방법, 아키텍처가 LLMs의 정서지능 점수에 미치는 영향을 분석한다.
• 향후 지적 능력과 정서지능이 모두 높은 LLM 개발을 위한 기준점을 제공한다.

제안 방법

• 실제 사회적 상황에서 복잡한 감정(예: 놀라움, 자랑스러움, 혼란)을 포함하는 상황을 바탕으로 한 새로운 심리측정 테스트를 개발하여 정서 이해(EU)를 평가한다.
• 500명 이상의 성인의 응답을 활용해 인간 기준 기반 프레임워크를 구축하여 테스트의 校정 및 검증을 수행한다.
• GPT-4를 포함한 주요 LLM들에 대해 EU 테스트를 시행하여 인간 성능 대비 EQ 점수를 측정한다.
• 다변량 패턴 분석을 적용하여 LLM과 인간의 내부 표현 패턴을 비교함으로써 메커니즘 유사성을 평가한다.
• 모델 크기, 훈련 방법, 아키텍처 설계가 EI 성능에 미치는 영향을 정량화한다.

실험 결과

연구 질문

• RQ1 표준화된 심리측정 테스트로 측정했을 때, LLMs는 현실적인 사회적 맥락에서 복잡한 감정을 얼마나 잘 이해할 수 있는가?
• RQ2 LLMs의 정서지능 점수는 인간과 비교해 어떤가 하며, 특히 EQ 백분위수 기준으로 어떻게 비교되는가?
• RQ3 LLMs는 인간이 사용하는 메커니즘과 유사한 방식으로 높은 EI를 달성하는가, 아니면 근본적으로 다른 표현 패턴에 의존하는가?
• RQ4 모델 크기, 훈련 방법, 아키텍처와 같은 요소들이 LLMs의 정서지능에 어떤 영향을 미치는가?

주요 결과

• GPT-4는 117의 EQ 점수를 기록하여 기준 샘플의 인간 참가자들 중 89퍼센트 이상을 상회했다.
• 시험한 대부분의 LLMs는 평균 이상의 EQ 점수를 기록하여 인간 기준 대비 정서 이해 능력이 뛰어나다는 것을 시사했다.
• 다변량 패턴 분석 결과, LLMs의 정서 이해를 위한 내부 표현 패턴은 인간과 질적으로 다름을 확인하여, 인간과 유사하지 않은 메커니즘을 사용하고 있음을 시사했다.
• 모델 크기, 훈련 방법, 아키텍처는 LLMs의 정서지능에 유의미한 영향을 미치는 것으로 밝혀졌지만, 특정 효과는 모델 간에 다양하게 나타났다.