[논문 리뷰] LaERC-S: Improving LLM-based Emotion Recognition in Conversation with Speaker Characteristics

Yumeng Fu, Wu, Junjie외 5명|arXiv (Cornell University)|2024. 03. 12.

Emotion and Mood Recognition인용 수 5

한 줄 요약

LaERC-S는 과거 발화에서 화자 상식을 생성하고 이를 통해 ERC 성능을 향상시켜 대화에서의 감정 인식 강화합니다.

ABSTRACT

Emotion recognition in conversation (ERC), the task of discerning human emotions for each utterance within a conversation, has garnered significant attention in human-computer interaction systems. Previous ERC studies focus on speaker-specific information that predominantly stems from relationships among utterances, which lacks sufficient information around conversations. Recent research in ERC has sought to exploit pre-trained large language models (LLMs) with speaker modelling to comprehend emotional states. Although these methods have achieved encouraging results, the extracted speaker-specific information struggles to indicate emotional dynamics. In this paper, motivated by the fact that speaker characteristics play a crucial role and LLMs have rich world knowledge, we present LaERC-S, a novel framework that stimulates LLMs to explore speaker characteristics involving the mental state and behavior of interlocutors, for accurate emotion predictions. To endow LLMs with this knowledge information, we adopt the two-stage learning to make the models reason speaker characteristics and track the emotion of the speaker in complex conversation scenarios. Extensive experiments on three benchmark datasets demonstrate the superiority of LaERC-S, reaching the new state-of-the-art.

연구 동기 및 목표

• 화자 관련 상식과 청자 반응을 반영하여 ERC를 개선하도록 동기 부여합니다.
• 대형 언어 모델을 사용하여 역사적 발화를 기반으로 화자 중심의 상식을 생성합니다.
• ERC 성능 향상을 위한 화자 상식 식별로 선행 학습합니다.
• 향상된 화자-맥락 특징을 가진 LLM 기반 ERC 시스템을 파인 튜닝합니다.
• 표준 ERC 데이터셋에서 최첨단 또는 경쟁력 있는 결과를 보여줍니다.

제안 방법

• Llama2-Chat 프롬프트를 통해 의도 및 청자 반응과 관련된 화자 상식을 생성하기 위해 역사적 발화를 사용합니다.
• 의미 관계 기반 템플릿을 구축하여 아홉 가지 ATOMIC 관계(xIntent, xReact, oReact, 등)를 타깃으로 상식 데이터를 생성합니다.
• 선행 학습을 위해 화자 식별 보조 작업을 대화상자 상식 식별로 교체합니다.
• 파라미터를 제어하기 위해 LoRA와 함께 Llama2-패밀리 모델을 사용한 두 단계 과정으로 ERC 모델을 파인 튜닝합니다.
• 상식 식별과 감정 예측 모두에 대해 히스토리, 작업 정의 및 기대 출력이 포함된 프롬프트를 활용합니다.
• 가중치-F1를 주요 지표로 사용하여 IEMOCAP, EmoryNLP, MELD에서 평가합니다.

실험 결과

연구 질문

• RQ1 역사적 대화에서 대화상자 상식을 통합하면 화자 식별 기반 기준선보다 ERC 정확도가 향상될 수 있나요?
• RQ2 청자 반응과 화자 의도를 생성하도록 LLM 프롬프트를 조정하면 더 나은 감정 인식이 이루어지나요?
• RQ3 InstructERC 및 다른 상식 기반 모델과 비교하여 표준 ERC 데이터셋에서 LaERC-S의 성능은 어떠한가요?

주요 결과

• LaERC-S는 IEMOCAP, EmoryNLP, MELD 전반에서 최첨단 또는 경쟁력 있는 결과를 얻습니다.
• 평균적으로 LaERC-S는 InstructERC 및 여러 베이스라인를 능가하며 IEMOCAP 및 EmoryNLP 데이터셋에서 두드러진 향상을 보입니다.
• 역사적 담론을 사용하여 현재 발화 상식을 생성하는 것은 토큰 수준 또는 담론 무관한 방법보다 더 정확한 은밀한 감정 신호를 제공합니다.
• ERC 주 작업 전에 대화상자 상식 식별을 포함한 두 단계 학습이 감정 예측을 향상시킵니다.
• 세 데이터셋에 대한 평균 결과는 선택된 베이스라인에 비해 우호적인 성능 향상을 보여줍니다.