[논문 리뷰] MERBench: A Unified Evaluation Benchmark for Multimodal Emotion Recognition

Zheng Lian, Licai Sun외 6명|arXiv (Cornell University)|2024. 01. 07.

Emotion and Mood Recognition인용 수 6

한 줄 요약

MERBench는 다중모달 감정 인식을 위한 통합 평가 벤치마크를 제공하고 방법 간 공정한 비교와 강건성 분석을 가능하게 하는 중국어 감정 데이터셋 MER2023를 도입합니다.

ABSTRACT

Multimodal emotion recognition plays a crucial role in enhancing user experience in human-computer interaction. Over the past few decades, researchers have proposed a series of algorithms and achieved impressive progress. Although each method shows its superior performance, different methods lack a fair comparison due to inconsistencies in feature extractors, evaluation manners, and experimental settings. These inconsistencies severely hinder the development of this field. Therefore, we build MERBench, a unified evaluation benchmark for multimodal emotion recognition. We aim to reveal the contribution of some important techniques employed in previous works, such as feature selection, multimodal fusion, robustness analysis, fine-tuning, pre-training, etc. We hope this benchmark can provide clear and comprehensive guidance for follow-up researchers. Based on the evaluation results of MERBench, we further point out some promising research directions. Additionally, we introduce a new emotion dataset MER2023, focusing on the Chinese language environment. This dataset can serve as a benchmark dataset for research on multi-label learning, noise robustness, and semi-supervised learning. We encourage the follow-up researchers to evaluate their algorithms under the same experimental setup as MERBench for fair comparisons. Our code is available at: https://github.com/zeroQiaoba/MERTools.

연구 동기 및 목표

• 데이터셋, 특징, 융합 전략에 걸쳐 다중모달 감정 인식을 위한 통합되고 공정한 평가 프레임워크를 제공한다.
• 특징, 융합, 사전학습 및 미세조정의 영향력을 밝히기 위해 일관된 실험 설정에서 다양한 방법을 재현하고 비교한다.
• 중국어 감정 데이터셋 MER2023를 도입하여 다중레이블 학습, 잡음 강건성, 반지도 학습 벤치마크를 지원한다.
• 평가 결과를 바탕으로 향후 연구 방향을 제시하고 개방적이며 재현 가능한 실험을 촉진한다.

제안 방법

• MERBench 통합 설정하에 대표적인 단일모드 및 다중모달 감정 인식 방법을 재현한다.
• 음향, 어휘, 시각 모달리티 전반의 특징을 평가하여 성능 기여도를 파악한다.
• 모달리티 중요도 가중치를 갖는 다중모달 융합을 구현하고 이산 감정 및 가치평가 예측을 위한 엔드투엔드 학습을 수행한다.
• 감정 분류를 위한 교차 엔트로피와 가치 회귀를 위한 MSE를 결합한 결합 손실을 사용한다.
• 네 가지 하위집합(Train&Val, MER-MULTI, MER-NOISE, MER-SEMI)으로 MER2023를 도입하고 샘플링, 주석 부여, 분할 절차를 설계한다.
• 재현 가능한 벤치마킹을 가능하게 하는 오픈 소스 도구 체인(MERTools)을 제공한다.

실험 결과

연구 질문

• RQ1 데이터세트가 다를 때도 적절한 특징을 어떻게 선택할 수 있는가? (unified setup에서의 다중모달 감정 데이터셋에 대한 질문)
• RQ2 어떤 다중모달 융합 전략이 모달리티 간 보완 신호를 가장 잘 활용하는가?
• RQ3 표준화된 평가 하에서 교차 코퍼스 성능은 어떻게 나타나며 강건성은 어떻게 개선될 수 있는가?
• RQ4 특징 추출기의 사전학습 및 미세조정이 다운스트림 감정 인식 성능에 어떤 영향을 미치는가?
• RQ5 중국어 감정 데이터셋에서 다중레이블, 잡음 강건성, 반지도 학습을 어떻게 효과적으로 연구할 수 있는가?

주요 결과

• MERBench는 공유된 실험 프레임워크에서 방법을 재현하여 공정하고 포괄적인 비교를 가능하게 한다.
• MER2023는 중국어 감정 인식에서 다중레이블 관계, 노이즈 강건성, 반지도 학습을 탐구하기 위한 구조화된 하위집합을 제공한다.
• 학습된 모달리티 중요도와 함께한 다중모달 융합이 단일 모달 기초선에 비해 데이터셋과 설정 전반에서 성능을 향상시킨다.
• 벤치마크는 특징 선택과 사전학습/미세조정이 교차 코퍼스 및 강건성 성능에 미치는 영향을 강조한다.
• 저자들은 MERBench 조건에서 재현 가능한 평가를 촉진하기 위한 오픈 소스 코드를 제공한다.