[論文レビュー] Multistage linguistic conditioning of convolutional layers for speech emotion recognition

Andreas Triantafyllopoulos, Uwe D. Reichel+4 more|arXiv (Cornell University)|Oct 13, 2021

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本稿では、Bert由来の言語的埋め込みと、log-Melスペクトログ램を処理する畳み込みニューラルネットワーク（CNN）の複数の中間層に統合された言語的埋め込みを用いた、多段階の言語的条件付け手法を提案する。この手法は、単一段階融合およびラテン融合ベースラインを上回り、MSP-PodcastおよびIEMOCAPデータセットにおける分類的および次元的SERタスクで優れた性能を示した。特に、価値（valence）および支配性（dominance）の予測において顕著な向上を示した。

ABSTRACT

In this contribution, we investigate the effectiveness of deep fusion of text and audio features for categorical and dimensional speech emotion recognition (SER). We propose a novel, multistage fusion method where the two information streams are integrated in several layers of a deep neural network (DNN), and contrast it with a single-stage one where the streams are merged in a single point. Both methods depend on extracting summary linguistic embeddings from a pre-trained BERT model, and conditioning one or more intermediate representations of a convolutional model operating on log-Mel spectrograms. Experiments on the MSP-Podcast and IEMOCAP datasets demonstrate that the two fusion methods clearly outperform a shallow (late) fusion baseline and their unimodal constituents, both in terms of quantitative performance and qualitative behaviour. Overall, our multistage fusion shows better quantitative performance, surpassing alternatives on most of our evaluations. This illustrates the potential of multistage fusion in better assimilating text and audio information.

研究の動機と目的

• 深層融合を用いて言語的および音声的情報を密に統合することで、感情認識の性能を向上させること。
• 複数のCNN層に言語的埋め込みを条件づける多段階融合が、単一段階融合やラテン融合に比べて優れた性能を発揮するかを検証すること。
• 実世界のデータセットを用いて、分類的および次元的SERタスクにおける本手法の有効性を評価すること。
• 特に自然主義的で感情に偏りのあるデータセットにおけるスケールの極端な領域およびデータの不均衡に起因するモデルバイアスと誤差パターンを分析すること。

提案手法

• 各発話に対して事前学習済みBERTモデルから要約的な言語的埋め込みを抽出する。
• これらの埋め込みを、log-Melスペクトログラムを学習対象とするCNNの複数の中間畳み込み層に条件づける。
• 言語的条件づけをCNNの複数段階に適用する多段階融合アーキテクチャ（MFCNN14）を用いる。
• これに対して、ネットワーク内の一点でのみ統合が行われる単一段階融合モデル（SFCNN14）を対比する。
• ラテン融合（LF）をベースラインとして用い、単一モodalなBERTおよびCNNモデルの予測を平均化する。
• CCCおよびMSEを評価指標として用い、複数の感情次元（覚醒度、価値、支配性）を同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 CNN層への多段階的言語的条件づけが、単一段階融合やラテン融合と比較して、感情認識性能を向上させるか？
• RQ2 言語的および音声的特徴の統合が、感情次元（覚醒度、価値、支配性）ごとに性能に与える影響は何か？
• RQ3 提案手法の統合方法が、感情スケールの極端な領域におけるバイアスをどれほど低減するか？
• RQ4 モデルの誤差残差はどのように振る舞い、異分散性（heteroscedasticity）や平均への回帰（regression toward the mean）を示すか？
• RQ5 多段階融合が、単一モダリティまたは浅い融合ベースラインと比較して、言語的および音声的情報をどれほど効果的に統合できるか？

主な発見

• 多段階融合モデル（MFCNN14）は、すべての指標で最高の性能を示し、MSP-Podcastデータセットにおいて、覚醒度（CCC: .670）、価値（CCC: .515）、支配性（CCC: .603）の各指標で顕著な結果を得た。
• MFCNN14は、価値（CCC: .515 vs. .462）および支配性（CCC: .603 vs. .209）において、BERT単一モダリティベースラインを顕著に上回り、深層融合の利点を実証した。
• 単一段階融合モデル（SFCNN14）は、ラテン融合および単一モダリティモデルを上回る性能を示したが、MFCNN14に比べて特に支配性および価値の予測で劣っていた。
• 誤差残差分析の結果、BERTおよびCNN14を含む大多数のモデルが、スケールの極端な領域で高い誤差を示し、平均への回帰の傾向を示した。ただし、SFCNN14はよりバランスの取れた残差を示した。
• MFCNN14およびSFCNN14は、BERTおよびCNN14に比べてバイアスを低減したが、MFCNN14が全次元にわたって最も一貫性のある性能を示した。
• 多段階アプローチは、優れた定量的結果およびより安定した誤差パターンから、言語的および音声的手がかりの統合がより効果的であることを示した。