[論文レビュー] Evaluation of Error and Correlation-Based Loss Functions For Multitask Learning Dimensional Speech Emotion Recognition

Bagus Tris Atmaja, Masato Akagi|arXiv (Cornell University)|Mar 24, 2020

Emotion and Mood Recognition参考文献 16被引用数 43

ひとこと要約

本論文は、多次元スティムエモーションレコognitionにおけるマルチタスク学習における誤差ベース（MSE、MAE）および相関ベース（CCC）損失関数の評価を行う。2つのデータセット（IEMOCAP、MSP-IMPROV）と2つの音声特徴セット（GeMAPS、pAA）を用い、CCC損失がすべてのシナリオにおいて一貫してMSEおよびMAEを上回ることを示した。これは、感情の価値、覚醒、支配の各次元において、より高い一致相関係数（CCC）スコアを達成した。主な貢献は、回帰ベースの多次元感情レコognitionにおいて、従来の誤差ベース損失よりも相関ベース損失がより適しているという実証的検証である。

ABSTRACT

The choice of a loss function is a critical part of machine learning. This paper evaluated two different loss functions commonly used in regression-task dimensional speech emotion recognition, an error-based and a correlation-based loss functions. We found that using a correlation-based loss function with a concordance correlation coefficient (CCC) loss resulted in better performance than an error-based loss function with mean squared error (MSE) loss and mean absolute error (MAE), in terms of the averaged CCC score. The results are consistent with two input feature sets and two datasets. The scatter plots of test prediction by those two loss functions also confirmed the results measured by CCC scores.

研究の動機と目的

• 異なる損失関数（MSE、MAE、CCC）が多次元スティムエモーションレコognitionにおけるマルチタスク学習に与える影響を評価すること。
• 回帰タスクにおける感情レコognitionにおいて、相関ベース損失（CCC）が誤差ベース損失（MSE、MAE）よりも効果的であるかどうかを特定すること。
• IEMOCAPとMSP-IMPROVという多様なデータセット（IEMOCAP、MSP-IMPROV）および音声特徴セット（GeMAPS、pAA）における性能の一貫性を評価すること。
• CCC損失が相関とバイアスの両方を考慮するため、MSEおよびMAEよりもモデルの一般化性能が向上するという仮説を検証すること。

提案手法

• 本研究は、深層ニューラルネットワークを用いて、感情の3次元（価値、覚醒、支配：VAD）を同時に予測するマルチタスク学習フレームワークを採用する。
• 3つの損失関数を評価する：平均二乗誤差（MSE）、平均絶対誤差（MAE）、一致相関係数損失（1 − CCC）、各クラスの重みを適用して価値と覚醒のバランスを取る。
• 2つのデータセット（IEMOCAPとMSP-IMPROV）を用い、話者独立のテスト分割（LOSO）と、[1,5]から[-1,1]へのラベルスケーリングの標準化を実施する。
• 2つのハイレベル統計特徴セット（HSF）を抽出する：GeMAPS（23個のLLD）とpAA（34個のLLD）を用い、低レベル記述子の平均値と標準偏差のみを対象とする。
• モデル性能は、3次元の平均CCCスコアを用いて評価し、個別の次元スコアと散布図による可視化による検証も実施する。
• すべての実験において同一のニューラルアーキテクチャとハイパーパrameterを用いることで、損失関数間の公平な比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 相関ベース損失関数（CCC）を用いることで、誤差ベース損失（MSE、MAE）よりもマルチタスク多次元スティムエモーションレコognitionで優れた性能が得られるか？
• RQ2 CCC損失の性能優位性は、異なるデータセットおよび音声特徴セットにおいて一貫しているか？
• RQ3 MSE、MAE、CCC損失の予測分布は、真値ラベルとの整合性とバイアスの観点でどのように比較されるか？
• RQ4 CCC損失は、回帰出力における相関と位置バイアスの両方を最小化することで、モデルの一般化性能を向上させられるか？
• RQ5 一般用途特徴セット（pAA）を用いる場合、感情特化特徴セット（GeMAPS）と同等の性能が、CCC損失を用いることで得られるか？

主な発見

• IEMOCAPでGeMAPS特徴を用いた場合、CCC損失は平均CCCスコア0.400を達成し、MSE（0.310）およびMAE（0.304）を顕著に上回った。
• MSP-IMPROVデータセットでpAA特徴を用いた場合、CCC損失は平均CCCスコア0.340を達成したのに対し、MSEは0.305、MAEは0.324であった。
• 価値-覚醒予測の散布図から、CCC損失の予測がゴールスタンダードラベルとより整合性があることが確認された。
• すべての4つのシナリオ（2つのデータセット × 2つの特徴セット）において性能の一貫性が観察され、CCC損失はすべてのケースで誤差ベース損失を一貫して上回った。
• すべての構成において平均MSEスコアがほぼ同一であったため、MSEはモデルの差に敏感ではなく、多様な設定における性能追跡には不適切である可能性がある。
• CCC損失を用いた場合、感情特化特徴セット（GeMAPS）と一般用途特徴セット（pAA）の間で顕著な性能差は認められず、損失関数が特徴タイプにかかわらず堅牢であることが示された。