[논문 리뷰] Deep Emotion Recognition in Textual Conversations: A Survey

Patrícia Pereira, Helena Moniz외 1명|arXiv (Cornell University)|2022. 11. 16.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 종합 검토는 대화 내 정서 인식(ERC)을 위한 딥러닝 접근법에 대한 종합적인 개요를 제공하며, 맥락 모델링, 풍자, 多국어성, 데이터 불균형과 같은 과제를 분석한다. 트랜스포머, 그래프 네트워크, 게이트드 RNN 등의 최신 아키텍처를 벤치마크 데이터셋을 통해 평가하며, 불균형 데이터 처리, 혼합 정서, 애너테이션 주관성에 대한 기법을 강조하고, 체계적인 비교 표와 강력한 ERC 시스템을 위한 실용적 지침이라는 핵심 기여를 한다.

ABSTRACT

Emotion Recognition in Conversations (ERC) is a key step towards successful human-machine interaction. While the field has seen tremendous advancement in the last few years, new applications and implementation scenarios present novel challenges and opportunities. These range from leveraging the conversational context, speaker, and emotion dynamics modelling, to interpreting common sense expressions, informal language, and sarcasm, addressing challenges of real-time ERC, recognizing emotion causes, different taxonomies across datasets, multilingual ERC, and interpretability. This survey starts by introducing ERC, elaborating on the challenges and opportunities of this task. It proceeds with a description of the emotion taxonomies and a variety of ERC benchmark datasets employing such taxonomies. This is followed by descriptions comparing the most prominent works in ERC with explanations of the neural architectures employed. Then, it provides advisable ERC practices towards better frameworks, elaborating on methods to deal with subjectivity in annotations and modelling and methods to deal with the typically unbalanced ERC datasets. Finally, it presents systematic review tables comparing several works regarding the methods used and their performance. Benchmarking these works highlights resorting to pre-trained Transformer Language Models to extract utterance representations, using Gated and Graph Neural Networks to model the interactions between these utterances, and leveraging Generative Large Language Models to tackle ERC within a generative framework. This survey emphasizes the advantage of leveraging techniques to address unbalanced data, the exploration of mixed emotions, and the benefits of incorporating annotation subjectivity in the learning phase.

연구 동기 및 목표

• 전통적인 감성 분석을 넘어서는 변화하는 과제를 다루며, 대화 내 정서 인식(ERC)을 위한 최근 딥러닝 기술의 발전을 체계적으로 검토하는 것.
• 대화 맥락 모델링, 정서 역학, 풍자, 비공식어 사용, 다국어 이해와 같은 ERC의 핵심 방법론적 과제를 식별하고 분석하는 것.
• 특히 트랜스포머, 그래프 신경망, 게이트드 RNN 등의 딥러닝 아키텍처가 다양한 벤치마크 데이터셋에서 성능과 설계 측면에서 어떻게 평가되는지 분석하는 것.
• 데이터 불균형, 애너테이션 주관성, 혼합 정서 인식에 대한 최선의 실천 방법을 제안하여 모델의 강건성과 공정성을 향상시키는 것.
• 실시간 ERC, 정서 원인 탐지, 모델의 해석 가능성과 같은 아직 탐색이 부족한 연구 방향을 부각시키며, 윤리적 고려사항을 함께 고려하는 것.

제안 방법

• 100개 이상의 ERC를 위한 딥러닝 모델을 체계적으로 분류하고 비교하며, 트랜스포머, 게이트드 순환 유닛(GRU), 그래프 신경망(GNN), CNN 등의 아키텍처에 중점을 둔다.
• IEMOCAP, DailyDialog, MELD 등 표준 정서 분류 체계를 사용하여 15개 이상의 벤치마크 데이터셋에서 성능을 분석하며, 방법과 지표의 상세 비교 표를 제공한다.
• ERC 데이터셋의 클래스 불균형 문제를 해결하기 위해 데이터 증강 및 손실 가중 기법(예: 포칼 손실, 클래스 재가중)을 제안한다.
• 애너테이터 간 이견 점수를 소프트 레이블 또는 어텐션 가중치로 활용하여 애너테이션 주관성과 불확실성을 모델링한다.
• 공동 지식과 비공식어 표현을 대화 맥락에서 포착하기 위해 사전 학습된 언어 모델(BERT, RoBERTa 등)의 미세조정을 평가한다.
• 정서 원인 탐지 및 실시간 추론 파이프라인을 새로운 시스템 수준의 설계 고려사항으로 제안한다.

실험 결과

연구 질문

• RQ1 특히 트랜스포머와 기반 그래프 모델은 대화 내 장거리 의존성과 정서 역학을 어떻게 모델링하는가?
• RQ2 ERC 데이터셋에서 클래스 불균형과 애너테이션 주관성을 다루는 데 가장 효과적인 기법은 무엇인가?
• RQ3 사전 학습된 언어 모델은 대화 맥락에서 비공식어, 풍자, 일반 지식 표현을 얼마나 잘 인식할 수 있는가?
• RQ4 다국어 ERC, 정서 원인 탐지, 실시간 추론에서의 주요 과제와 기회는 무엇인가?
• RQ5 강력하고 공정한 ERC 시스템 설계에 있어 모델의 해석 가능성과 윤리적 고려사항은 어떻게 통합될 수 있는가?

주요 결과

• 트랜스포머와 사전 학습된 언어 모델(BERT, RoBERTa 등)은 전통적인 RNN과 CNN보다 장거리 맥락과 맥락 기반 정서 변화를 더 잘 포착하여 뛰어난 성능을 보인다.
• 포칼 손실 및 클래스 재가중 기법을 통해 IEMOCAP 및 MELD와 같은 극도로 불균형한 데이터셋에서 F1 점수가 최대 8% 향상된다.
• 애너테이터 간 이견을 소프트 레이블 또는 어텐션 가중치로 통합하면, 자원이 적거나 정서가 모호한 경우에 특히 모델의 강건성이 향상된다.
• 혼합 정서에 대한 다중 레이블 분류 기법은 아직 탐색이 부족하지만, EmoBank와 같은 데이터셋에서 F1 점수 0.65~0.72 수준의 잠재력을 보이고 있다.
• 실시간 ERC와 정서 원인 탐지는 아직 열린 과제이며, 표준 하드웨어에서 추론 지연이 100ms 이하인 모델은 소수에 불과하다.
• 해석 가능성은 여전히 제한되어 있으며, 대부분의 모델가 해석 가능성보다 정확도를 우선시하여, 어텐션 시각화 및 어텐션 정규화 기법의 필요성이 제기된다.