[論文レビュー] MSAC: Multiple Speech Attribute Control Method for Reliable Speech Emotion Recognition

Yu Pan, Yang, Yuguang+7 more|arXiv (Cornell University)|Aug 8, 2023

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本稿では、追加マージンソフトマックス損失を用いて話者、性別、言語などの複数の音声属性を明示的に制御することで、モデルの頑健性を向上させる、新しいCNNベースの音声感情認識（SER）フレームワークMSACを提案する。感情に依存しない特徴量を分離することで、IEMOCAPで72.97％の重み付き正答率および71.76％の非重み付き正答率という最先端の性能を達成するとともに、分布外検出を用いた信頼性の顕著な向上を実現した。

ABSTRACT

Despite notable progress, speech emotion recognition (SER) remains challenging due to the intricate and ambiguous nature of speech emotion, particularly in wild world. While current studies primarily focus on recognition and generalization abilities, our research pioneers an investigation into the reliability of SER methods in the presence of semantic data shifts and explores how to exert fine-grained control over various attributes inherent in speech signals to enhance speech emotion modeling. In this paper, we first introduce MSAC-SERNet, a novel unified SER framework capable of simultaneously handling both single-corpus and cross-corpus SER. Specifically, concentrating exclusively on the speech emotion attribute, a novel CNN-based SER model is presented to extract discriminative emotional representations, guided by additive margin softmax loss. Considering information overlap between various speech attributes, we propose a novel learning paradigm based on correlations of different speech attributes, termed Multiple Speech Attribute Control (MSAC), which empowers the proposed SER model to simultaneously capture fine-grained emotion-related features while mitigating the negative impact of emotion-agnostic representations. Furthermore, we make a first attempt to examine the reliability of the MSAC-SERNet framework using out-of-distribution detection methods. Experiments on both single-corpus and cross-corpus SER scenarios indicate that MSAC-SERNet not only consistently outperforms the baseline in all aspects, but achieves superior performance compared to state-of-the-art SER approaches.

研究の動機と目的

• 分布シフト下での信頼性評価の欠如に起因する音声感情認識（SER）システムの課題を解決すること。
• 話者の性別、言語などの複数の音声属性におけるデータ分布を明示的に制御することで、音声感情をモデル化すること。
• 単一コーパスおよびクロスコーパス設定の両方で性能を向上させる統合的SERワークフローの開発。
• 分布外（OOD）検出を用いてSERモデルの信頼性を評価するという、先駆的アプローチの確立。
• 感情に依存しない特徴量からの干渉を低減しつつ、感情関連の表現を保持すること。

提案手法

• 感情カテゴリ間の類似性を低減し、クラス内ばらつきを抑えるために、追加マージンソフトマックス（AM-Softmax）損失を用いて、エンドツーエンドでCNNベースのSERモデルを訓練する。
• MSAC手法は、トレーニング中に分離表現を学習することで、話者、性別、言語などの複数の音声属性を明示的に制御する。
• Fbank入力を用いて、異なるカーネルサイズを持つ3本の畳み込みストリームを用いて、時間的・周波数的特徴をマルチスケールで抽出する。
• 時間軸方向に統計的プーリング（平均および標準偏差）を適用することで、変動性とエネルギーを捉え、感情に敏感な表現を強化する。
• バッチ正則化とLeakyReLUを含む2段階の全結合プロジェクションヘッドを用いて、分類の直前までに最終埋め込みを精練する。
• 分布外（OOD）検出は、最先端の手法であるMaxLogitを用いて評価され、分布シフト下でのモデル信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、現実世界の野生の状況下で分布シフトが生じた場合でも、音声感情認識モデルの信頼性を高められるか？
• RQ2 話者の性別、言語などの複数の音声属性に対する明示的制御が、SERの性能と頑健性をどの程度向上できるか？
• RQ3 統合的SERワークフローは、単一コーパスおよびクロスコーパス設定の両方で優れた性能を達成できるか？
• RQ4 提案手法MSACは、既存のドメイン適応やデータ拡張戦略と比較して、OOD一般化性能および信頼性においてどのように差をつけるか？
• RQ5 話者、性別などの感情に依存しない属性の制御は、感情関連特徴のより良い分離をもたらすか？

主な発見

• IEMOCAPコーパスにおいて、提案されたMSACベースのSERモデルは、重み付き正答率72.97％、非重み付き正答率71.76％を達成し、ベースラインを上回った。
• 単一コーパスSERにおいて、提案手法はベースライン比でWARを4.57％、UARを3.34％向上させた。
• クロスコーパスSERにおいて、対象内データではWARが44.64％、UARが44.42％に達し、分布外データではWAR/UARが54.25％を記録した。
• MSAC手法は、ベースライン比でFPR95を27.40％低減し、AUROCを13.22％向上させ、優れた信頼性を示した。
• ADAベースの手法 [gat2022speaker] よりも全指標で優れており、OOD一般化において平均WARが2.85％向上した。
• G_{ML}戦略と組み合わせることで、MSACはOOD一般化性能をWAR/UARで0.8％さらに向上させ、相乗効果を示した。