[논문 리뷰] Refashioning Emotion Recognition Modelling: The Advent of Generalised Large Models

Zixing Zhang, Liyizhe Peng외 4명|arXiv (Cornell University)|2023. 08. 21.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 전문화된 정서 인식 모델에서 일반화된 대규모 언어 모델(Large Language Models, LLMs)로의 패러다임 전환을 제안하며, 광범위한 사전 훈련 데이터와 문맥 이해 능력을 통해 LLMs가 소수 정서 분류에서 특히 뛰어난 성능을 보임을 입증한다. 연구는 일곱 개의 데이터셋에서 최신 LLMs를 평가하여 기존 최고 수준의 모델들에 비해 일반화 능력, 설명 가능성, 문맥 인식 기반 정서 탐지 능력 향상을 보였다.

ABSTRACT

After the inception of emotion recognition or affective computing, it has increasingly become an active research topic due to its broad applications. Over the past couple of decades, emotion recognition models have gradually migrated from statistically shallow models to neural network-based deep models, which can significantly boost the performance of emotion recognition models and consistently achieve the best results on different benchmarks. Therefore, in recent years, deep models have always been considered the first option for emotion recognition. However, the debut of large language models (LLMs), such as ChatGPT, has remarkably astonished the world due to their emerged capabilities of zero/few-shot learning, in-context learning, chain-of-thought, and others that are never shown in previous deep models. In the present paper, we comprehensively investigate how the LLMs perform in emotion recognition in terms of diverse aspects, including in-context learning, few-short learning, accuracy, generalisation, and explanation. Moreover, we offer some insights and pose other potential challenges, hoping to ignite broader discussions about enhancing emotion recognition in the new era of advanced and generalised large models.

연구 동기 및 목표

• 일반화된 대규모 언어 모델(Large Language Models, LLMs)이 감성 및 정서 분류 작업에서 전문화된 정서 인식 모델을 능가할 수 있는지 조사하는 것.
• 특히 부족한 정서 카테고리에 대해 다양한 데이터셋에서 LLMs의 일반화 능력을 평가하는 것.
• LLM 기반 정서 인식에서 문맥의 역할과 예측 정확도에 미치는 영향을 분석하는 것.
• 개인정보 泄露 및 계산 자원 제약과 같은 LLMs를 영향 감지 컴퓨팅 분야에 구현할 때 발생하는 주요 과제를 규명하는 것.
• 향후 LLM 기반 정서 인식 시스템에서 다중모달 입력 통합, 모델 압축, 개인정보 보호 기법을 통합하기 위한 연구 로드맵을 제안하는 것.

제안 방법

• 감성 및 정서 인식을 위한 일곱 개의 벤치마크 데이터셋에서 최신 LLMs(예: GPT-4)를 평가하는 것.
• LLM 성능을 최고 수준의 전문화된 모델들과 비교하여 일반화 능력 및 정확도 향상을 평가하는 것.
• LLM 예측에서 문맥 활용 방식을 분석하여 문맥적 단서가 정서 추정을 어떻게 향상시키는지 이해하는 것.
• 추론 과정에서 인구 통계 정보(예: 연령, 성별, 거주지)가 의도치 않게 유출되는 등의 LLMs의 개인정보 위험을 조사하는 것.
• 메모리 및 지연 시간을 줄이기 위해 양자화와 같은 모델 압축 기법을 탐색하여 자원 제약이 있는 장치에 배포 가능한지 검토하는 것.
• 시각 및 음성 모델을 포함한 다중모달 통합 전략을 검토하여 텍스트 외의 입력을 통해 정서 인식 능력을 향상시키는 것.

실험 결과

연구 질문

• RQ1 일반화된 대규모 언어 모델이 다양한 데이터셋에서 전문화된 모델에 비해 정서 인식 성능을 뛰어나게 할 수 있는가?
• RQ2 LLM은 희귀하거나 소수 정서 카테고리에 대해 얼마나 효과적으로 문맥 정보를 활용하여 정서 분류 성능을 향상시키는가?
• RQ3 정서 감지 컴퓨팅에 LLM을 구현할 때 발생할 수 있는 개인정보 유출과 같은 개인정보 위험은 무엇인가?
• RQ4 모델 압축 기법은 자원 제약이 있는 하드웨어에서 로컬로 작동하는 정서 인식을 위한 LLM을 실현 가능하게 하기 위해 어떻게 적용될 수 있는가?
• RQ5 대규모 모델에서 텍스트, 이미지, 음성 등의 다중모달 신호를 효과적으로 융합하기 위한 가장 효과적인 전략은 무엇인가?

주요 결과

• LLMs는 광범위한 사전 훈련 데이터 노출 덕분에 소수 정서 카테고리의 정확도를 높이는 데 뛰어난 성능을 보였다.
• 모델들은 정서 인식 작업에 대해 특화된 훈련 없이도 여러 벤치마크 데이터셋에서 전문화된 모델들을 능가하는 강력한 일반화 능력을 보였다.
• 문맥 이해가 정서 추정을 크게 향상시켰으며, 더 긴 또는 더 풍부한 텍스트 문맥이 제공될수록 LLM의 정확도가 향상되는 경향을 보였다.
• 평가한 네 개의 LLMs는 의도하지 않게 인구 통계 정보(예: 연령, 성별, 거주지)를 유출하여 영향 감지 컴퓨팅 응용 분야에서 개인정보 위험을 드러냈다.
• 양자화와 같은 모델 압축 기법은 메모리 사용량과 지연 시간을 줄이는 데 필수적이며, 이는 모바일 및 엣지 장치에의 배포를 가능하게 한다.
• 다중모달 대규모 모델(예: 시각 입력을 갖춘 GPT-4)은 텍스트, 이미지 등 다양한 모odal을 효과적으로 통합함으로써 통합적 정서 이해에 강력한 잠재력을 보였다.