[論文レビュー] Multimodal Continuous Emotion Recognition using Deep Multi-Task Learning with Correlation Loss

Berkay Köprü, Engin Erzin|arXiv (Cornell University)|Nov 2, 2020

Emotion and Mood Recognition被引用数 5

ひとこと要約

本稿では、音声と身体運動信号を用いて連続的感情認識（AVD：Activation, Valence, Dominance）を予測するためのマルチモーダル深層マルチタスク学習フレームワークを提案する。raw特徴量と抽出特徴量のエアリー融合に加え、マルチタスク学習と相関に基づく損失関数（CCCおよびPCC）を組み合わせることで、単一タスク学習およびMSE損失ベースラインと比較して顕著な性能向上を達成した。特に、valence予測では6%のCCC向上、RECOLAデータセットでは13%以上の向上を達成した。

ABSTRACT

In this study, we focus on continuous emotion recognition using body motion and speech signals to estimate Activation, Valence, and Dominance (AVD) attributes. Semi-End-To-End network architecture is proposed where both extracted features and raw signals are fed, and this network is trained using multi-task learning (MTL) rather than the state-of-the-art single task learning (STL). Furthermore, correlation losses, Concordance Correlation Coefficient (CCC) and Pearson Correlation Coefficient (PCC), are used as an optimization objective during the training. Experiments are conducted on CreativeIT and RECOLA database, and evaluations are performed using the CCC metric. To highlight the effect of MTL, correlation losses and multi-modality, we respectively compare the performance of MTL against STL, CCC loss against root mean square error (MSE) loss and, PCC loss, multi-modality against single modality. We observe significant performance improvements with MTL training over STL, especially for estimation of the valence. Furthermore, the CCC loss achieves more than 7% CCC improvements on CreativeIT, and 13% improvements on RECOLA against MSE loss.

研究の動機と目的

• 連続的感情認識（CER）における訓練損失（例：MSE）と評価指標（例：CCC, PCC）の不一致を解消するため、相関に基づく損失関数を用いる。
• AVD予測タスク間で共有表現を学習することで、限られたラベル付き感情データでも一般化性能とロバスト性を向上させるマルチタスク学習（MTL）を活用する。
• 音声と身体運動のマルチモーダル入力のエアリー融合と、raw信号および抽出特徴量からのエンドツーエンド学習により性能を向上させる。
• マルチタスク学習（MTL）と相関損失が、単一タスク学習（STL）およびMSE損失と比較して、マルチモーダルCER設定で優れていることを実証する。

提案手法

• raw音声信号と身体運動シーケンスに加え、抽出特徴量（MFCCとオイラー角）を統合するセミエンドツーエンドの深層ニューラルネットワークを提案する。
• Activation, Valence, Dominance（AVD）という3つの連続的感情次元を同時に予測するマルチタスク学習（MTL）を採用し、共有表現学習を促進する。
• 標準的なMSEの代わりに、相関に基づく損失関数（一致相関係数：CCC、ピアソン相関係数：PCC）を最適化目的として使用する。
• 性能に与える文脈長の影響を評価するため、可変な受容野サイズ（N=20, 40, 60）を用いた時系列ウィンドウ処理を実施する。
• 1フレームあたり39次元の音声特徴量（MFCC + エネルギー + 導関数）と24次元の身体運動特徴量（オイラー角 + ダイナミクス変化量）を用いる。
• CreativeITおよびRECOLAデータセットでモデルを学習し、すべてのアブレーションスタディでCCCを主評価指標として使用する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル設定下で、マルチタスク学習（MTL）は単一タスク学習（STL）と比較して連続的感情認識性能を向上させるか？
• RQ2 損失関数として一致相関係数（CCC）を用いる場合、平均二乗誤差（MSE）と比較してAVD次元の予測性能はどのように異なるか？
• RQ3 音声と身体運動モダリティを統合することで、単一モダリティを使用する場合と比較してCERの精度は向上するか？
• RQ4 時系列的文脈長（ウィンドウサイズ）は、提案されたMTLモデルのAVD予測性能にどのように影響を与えるか？
• RQ5 相関に基づく損失関数は、訓練目的と評価指標をより整合させることで、CERにおける一般化性能の向上に寄与するか？

主な発見

• 提案されたCER-MTLモデルは、CreativeITデータセットにおいて、STLベースラインと比較してvalence予測で6%のCCC向上を達成した（valence：0.38 vs. 0.31、activation：0.38 vs. 0.31）。
• RECOLAデータセットでは、CER-MTLがactivationで0.66のCCC、valenceで0.34のCCCを達成し、STLベースライン（0.62および0.27）を上回った。
• CCC損失で学習させた場合、MSE損失と比較してCreativeITでは7%以上、RECOLAでは13%以上のCCC向上を達成し、指標に整合した最適化の有効性を示した。
• 時系列ウィンドウサイズ（N）を20から60に増加させることで、activation予測の性能が顕著に向上（CreativeITで0.38から0.45にCCC向上）したが、valenceおよびdominanceには一貫したトレンドは観察されなかった。
• RECOLA開発セットでは、CER-MTLモデルがactivationで0.79のCCC、valenceで0.37のCCCを達成し、SOTA手法と比較して少なくとも1%以上のCCC向上を達成した。
• 高い複雑性にもかかわらず、[12]の純粋なCNNベースラインは、CreativeITでCER-MTLモデルより少なくとも11%のCCC低下を示し、MTLと相関損失の有効性を裏付けた。