[論文レビュー] MERBench: A Unified Evaluation Benchmark for Multimodal Emotion Recognition

Zheng Lian, Licai Sun+6 more|arXiv (Cornell University)|Jan 7, 2024

Emotion and Mood Recognition被引用数 6

ひとこと要約

MERBench はマルチモーダル感情認識の統一評価ベンチマークを提供し、方法間の公正な比較と頑健性分析を可能にする中国語感情データセット MER2023 を導入します。

ABSTRACT

Multimodal emotion recognition plays a crucial role in enhancing user experience in human-computer interaction. Over the past few decades, researchers have proposed a series of algorithms and achieved impressive progress. Although each method shows its superior performance, different methods lack a fair comparison due to inconsistencies in feature extractors, evaluation manners, and experimental settings. These inconsistencies severely hinder the development of this field. Therefore, we build MERBench, a unified evaluation benchmark for multimodal emotion recognition. We aim to reveal the contribution of some important techniques employed in previous works, such as feature selection, multimodal fusion, robustness analysis, fine-tuning, pre-training, etc. We hope this benchmark can provide clear and comprehensive guidance for follow-up researchers. Based on the evaluation results of MERBench, we further point out some promising research directions. Additionally, we introduce a new emotion dataset MER2023, focusing on the Chinese language environment. This dataset can serve as a benchmark dataset for research on multi-label learning, noise robustness, and semi-supervised learning. We encourage the follow-up researchers to evaluate their algorithms under the same experimental setup as MERBench for fair comparisons. Our code is available at: https://github.com/zeroQiaoba/MERTools.

研究の動機と目的

• データセット、特徴、融合戦略を横断したマルチモーダル感情認識の統一的で公正な評価フレームワークを提供する。
• 特徴、融合、事前学習、および微調整の影響を明らかにするため、一貫した実験設定の下で多様な手法を再現・比較する。
• 中国語データセットとして MER2023 を導入し、マルチラベル学習、ノイズ頑健性、および半教師付き学習ベンチマークを支援する。
• 評価結果に基づいて将来の研究方向を導き、オープンで再現可能な実験を促進する。

提案手法

• 統一された MERBench セットアップの下で、代表的な単一モーダルおよびマルチモーダル感情認識手法を再現する。
• 音響・語彙・視覚のモダリティにわたる特徴を評価し、性能への寄与を評価する。
• モダリティ重要度重みを用いたマルチモーダル融合と離散感情および価の予測のエンドツーエンド学習を実装する。
• 感情分類のクロスエントロピーと価値回帰のMSEを結合したジョイント損失を使用する。
• 四つのサブセット（Train&Val、MER-MULTI、MER-NOISE、MER-SEMI）を備えたMER2023を導入し、サンプリング、アノテーション、分割手順を設計する。
• 再現可能なベンチマークを可能にするオープンソースツールチェーン（MERTools）を提供する。

実験結果

リサーチクエスチョン

• RQ1 統一されたセットアップの下で、異なるマルチモーダル感情データセットに適した特徴をどのように選択するか？
• RQ2 どのマルチモーダル融合戦略がモダリティ間の補完的手がかりを最も活用できるか？
• RQ3 標準化された評価下でコーパス間の性能はどのように振る舞い、頑健性をいかに改善できるか？
• RQ4 特徴抽出器の事前学習と微調整が下流の感情認識性能に与える影響は何か？
• RQ5 中国語データセットにおいて、マルチラベル、ノイズ頑健性、半教師付き学習をどのように効果的に研究できるか？

主な発見

• MERBench は共有された実験フレームワークの下で手法を再現することにより、公正で包括的な比較を可能にする。
• MER2023 は中国語感情認識におけるマルチラベル関係、ノイズ頑健性、半教師付き学習を探索するための構造化されたサブセットを提供する。
• 学習されたモダリティ重要度を用いるマルチモーダル融合は、単一モーダルのベースラインと比較して、データセット間および設定全体で性能を向上させる。
• ベンチマークは、特徴選択と事前学習/微調整がコーパス横断および頑健性の性能に与える影響を強調する。
• 著者は MERBench 条件下で再現可能な評価を促進するオープンソースコードを提供する。