[논문 리뷰] DialogueTRM: Exploring the Intra- and Inter-Modal Emotional Behaviors in the Conversation

Yuzhao Mao, Qi Sun외 5명|arXiv (Cornell University)|2020. 10. 15.

Language, Metaphor, and Cognition참고 문헌 23인용 수 18

한 줄 요약

이 논문은 대화에서 정서 인식을 위해 내모odal 맥락 선호도와 이모달 특징 상호작용을 모델링하는 새로운 다중모달 트랜스포머 아키텍처인 DialogueTRM을 제안한다. 계층적 트랜스포머를 통해 모달별 맥락 처리를 하고, 뉴런 수준과 벡터 수준의 다중 해상도 상호작용 융합을 통해, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 방법보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Emotion Recognition in Conversations (ERC) is essential for building empathetic human-machine systems. Existing studies on ERC primarily focus on summarizing the context information in a conversation, however, ignoring the differentiated emotional behaviors within and across different modalities. Designing appropriate strategies that fit the differentiated multi-modal emotional behaviors can produce more accurate emotional predictions. Thus, we propose the DialogueTransformer to explore the differentiated emotional behaviors from the intra- and inter-modal perspectives. For intra-modal, we construct a novel Hierarchical Transformer that can easily switch between sequential and feed-forward structures according to the differentiated context preference within each modality. For inter-modal, we constitute a novel Multi-Grained Interactive Fusion that applies both neuron- and vector-grained feature interactions to learn the differentiated contributions across all modalities. Experimental results show that DialogueTRM outperforms the state-of-the-art by a significant margin on three benchmark datasets.

연구 동기 및 목표

• 기존 대화 정서 인식(ERC) 모델이 내모달 및 이모달 간의 차별화된 정서 행동을 간과하는 격차를 보완하기 위해.
• 텍스트는 맥락에 의존하는 반면, 시각 및 청각은 맥락에 무관한 내모달 맥락 선호도를 계층적 트랜스포머의 동적 구조 전환을 통해 모델링하기 위해.
• 뉴런 수준과 벡터 수준의 특징 상호작용을 가능하게 하여 다중모달 융합에서 모달별 기여도를 학습하기 위해.
• 모달 내 시간적 의존성과 모달 간 공간적 의존성을 함께 모델링하여 정서 예측 정확도를 향상시키기 위해.

제안 방법

• 모달별 맥락 선호도에 따라 순차적(맥락 의존적) 또는 피드포워드(맥락 비의존적) 아키텍처로 전환할 수 있는 학습 가능한 어텐션 마스크를 갖춘 계층적 트랜스포머(HT)를 설계하였다.
• HT는 BERT와 트랜스포머 구성 요소를 결합하여 적응형 맥락 처리가 가능한 모달별 표현을 처리한다.
• 뉴런 수준 융합을 위해 다중모달 게이트를 사용하는 다중 해상도 상호작용 융합(MGIF) 모듈을 제안하였다.
• MGIF는 트랜스포머 인코더를 활용하여 벡터 수준 융합을 수행하며, 모달 기여도에 대한 동적 어텐션 가중치를 학습한다.
• HT와 MGIF 모듈을 통합하여 내모달 및 이모달 정서 행동 모델링을 동시에 최적화하는 전체 DialogueTRM 모델을 구성하였다.
• 교차 엔트로피 손실를 사용하고 조기 정지 기법을 적용하여 세 개의 다중모달 ERC 벤치마크에서 엔드 투 엔드로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 개별 모달(텍스트, 음성, 시각) 내 정서 표현은 대화 맥락에 얼마나 의존하는가?
• RQ2 다중모달 정서 인식에서 모달별 맥락 선호도를 모델링하기 위한 최적의 구조 설계는 무엇인가?
• RQ3 다른 특징 공간을 가진 다중모달 표현을 효과적으로 융합하여 모달별 기여도를 포착할 수 있는 방법은 무엇인가?
• RQ4 단일 해상도 또는 비상호작용 융합 대비 뉴런 수준과 벡터 수준의 다중 해상도 융합이 정서 인식 성능에 얼마나 기여하는가?

주요 결과

• DialogueTRM는 IEMOCAP, MELD, DailyDialog 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능를 달성하며 기존 SOTA 방법을 뛰어넘었다.
• MGIF 모듈은 MulT 대비 F1 점수를 3배 향상시켜 다중 해상도 융합의 효과성을 입증하였다.
• 텍스트 모달은 맥락 의존 설정에서 뚜렷한 성능 향상을 보였고, 시각 및 청각 모달은 맥락 비의존 설정에서 최고 성능를 기록하였다.
• 제거 실험 결과, 다중모달 게이트를 통한 뉴런 수준 융합과 트랜스포머를 통한 벡터 수준 융합이 모두 필수적임을 확인하였으며, 특히 후자가 선형 연결보다 뛰어난 성능을 보였다.
• 텍스트만으로 정서를 잘못 분류할 경우, 다중모달 융합이 '중립' 예측의 85.41%와 '분노' 예측의 70.45%를 수정하였다. 특히 중립어휘에 가려진 부정 정서에 대해 뛰어난 보정 능력을 보였다.
• 문장 'yeah.'의 경우, 정확도는 텍스트 전용일 때 43.48%에서 맥락을 포함하면 65.22%로 상승하고, 다중모달 특징을 사용하면 73.91%로 향상되었으며, 이는 다중모달 맥락의 가치를 입증한다.