[논문 리뷰] Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition

Shuyun Tang, Zhaojie Luo외 3명|arXiv (Cornell University)|2021. 09. 15.

Emotion and Mood Recognition참고 문헌 38인용 수 4

한 줄 요약

이 논문은 주의 기반 엣지 가중치와 관계 기반 그래프 변환을 통해 이중 단계 그래프 구축을 통해 상호모odal 상호작용과 모odal-감정 관계를 포착하는 새로운 그래프 기반 모델인 계층적 융합 그래프 컨volution 네트워크(HFGCN)를 제안한다. HFGCN은 다중 작업 학습을 통해 감정 레이블과 밸런스-도전도(VA) 정도를 동시에 예측함으로써 IEMOCAP 및 MELD 데이터셋에서 최신 기준 성능을 달성하여 정확도와 해석 가능성 모두 향상시킨다.

ABSTRACT

Automatic emotion recognition (AER) based on enriched multimodal inputs, including text, speech, and visual clues, is crucial in the development of emotionally intelligent machines. Although complex modality relationships have been proven effective for AER, they are still largely underexplored because previous works predominantly relied on various fusion mechanisms with simply concatenated features to learn multimodal representations for emotion classification. This paper proposes a novel hierarchical fusion graph convolutional network (HFGCN) model that learns more informative multimodal representations by considering the modality dependencies during the feature fusion procedure. Specifically, the proposed model fuses multimodality inputs using a two-stage graph construction approach and encodes the modality dependencies into the conversation representation. We verified the interpretable capabilities of the proposed method by projecting the emotional states to a 2D valence-arousal (VA) subspace. Extensive experiments showed the effectiveness of our proposed model for more accurate AER, which yielded state-of-the-art results on two public datasets, IEMOCAP and MELD.

연구 동기 및 목표

• 기존 융합 방법이 단순한 연결에 의존하고 다중모달 감정 인식에서 복잡한 상호모달 상호작용을 모델링하지 못하는 한계를 해결하기 위해.
• 각 모달의 기여도가 감정 유형에 따라 변하는 모달-감정 관계가 분류 성능 향상에 어떻게 기여하는지 탐색하기 위해.
• 감정 상태를 2차원 밸런스-도전도(VA) 부분공간에 투영하여 모델의 해석 가능성 향상시키기 위해.
• 발화 수준 및 대화 수준의 모달 상호작용을 모두 포착하는 계층적 그래프 융합 메커니즘 개발하기 위해.

제안 방법

• 모델은 이중 단계 그래프 구축을 사용한다: 첫 번째로, 텍스트, 음성, 영상 등의 모달 전용 특징들이 주의 기반 엣지로 연결되어 발화 수준에서의 상호모달 상호작용을 모델링한다.
• 두 번째로, 발화 표현들이 다시 주의 기반 엣지로 연결되어 대화 수준의 상호작용을 모델링함으로써 시간에 따른 계층적 융합을 가능하게 한다.
• 엣지 관계는 명시적으로 모달-감정 의존성을 인코딩하여, 다양한 감정 상태에서 각 모달이 어떻게 기여하는지 학습할 수 있도록 한다.
• 표현 학습과 해석 가능성 향상을 위해 이산 감정 레이블과 연속적인 밸런스-도전도(VA) 정도를 동시에 예측하기 위한 다중 작업 학습 손실이 도입된다.
• 대화 전반에 걸쳐 모달과 감정 간의 동적 관계를 포착하기 위해 관계 기반 그래프 변환이 적용된다.
• 학습 가능한 주의 가중치를 갖춘 그래프 컨volution 네트워크(GCNs)를 활용하여 모달 상호작용과 관계 엣지에 대한 중요도를 동적으로 할당한다.

실험 결과

연구 질문

• RQ1 기존의 초기 융합 또는 후기 융합 방법과 비교할 때, 계층적 그래프 융합은 감정 인식을 위한 다중모달 표현 학습에 어떻게 향상시키는가?
• RQ2 각 모달의 중요도가 감정 유형에 따라 변하는 모달-감정 관계는 분류 성능 향상에 얼마나 기여하는가?
• RQ3 이산 감정 레이블과 연속적인 밸런스-도전도(VA) 정도를 함께 예측함으로써 모델 정확도와 해석 가능성은 어떻게 향상되는가?
• RQ4 주의 기반 엣지 가중치와 관계 기반 그래프 설계는 상호모달 및 모달-감정 의존성을 포착하는 데 어떻게 기여하는가?
• RQ5 발화 수준와 대화 수준의 그래프 구조 중 어느 것이 다중모달 감정 동역학 모델링에 더 큰 기여를 하는가?

주요 결과

• HFGCN은 평균 F1 스코어 74.90을 기록하여 IEMOCAP 데이터셋에서 기존 기준 모델들을 압도적으로 뛰어넘는 최신 기준 성능을 달성한다.
• 제거 실험 결과, 그래프 구축의 두 단계를 모두 제거할 경우 F1 스코어가 12퍼센트 포인트 이상 감소함으로써 계층적 융합의 必요성을 확인한다.
• 주의 기반 엣지 가중치를 제거할 경우 F1 스코어가 2.7% 감소하고, 엣지 관계를 제거할 경우 3.9% 감소함으로써 관계 설계가 주의 가중치 자체보다 더 중요하다는 것을 시사한다.
• 2차원 밸런스-도전도(VA) 공간에서의 시각화 결과, 모델은 일반적인 감정 분포를 포착하지만, 도전도 축을 따라 과도하게 일반화하는 경향이 있다.
• 짧은 발화, 예를 들어 'Okay' 또는 'I just can’t'와 같은 경우는 중립, 분노, 흥분 감정 간 전이 영역에 위치하여 가장 자주 오분류된다.
• 감정 레이블과 VA 정도의 동시 예측은 예측된 감정 상태가 이론적 VA 프레임워크(Barrett, 1998)와 일치함을 보여 주어 모델의 해석 가능성 향상을 확인한다.