[論文レビュー] Fusing ASR Outputs in Joint Training for Speech Emotion Recognition

Yuanchao Li, Peter Bell+1 more|arXiv (Cornell University)|Oct 29, 2021

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、Wav2vec 2.0の隠れ表現とテキスト出力を階層的相互注意を用いて統合する共同ASR-SER学習フレームワークを提案する。IEMOCAP上での重み付き正確度は63.4%に達し、真値トランスクリプトを用いたベースラインの60.0%にほぼ並ぶ。誤字訂正のないASR特徴を活用することで、発話感情認識のロバスト性が向上する。

ABSTRACT

Alongside acoustic information, linguistic features based on speech transcripts have been proven useful in Speech Emotion Recognition (SER). However, due to the scarcity of emotion labelled data and the difficulty of recognizing emotional speech, it is hard to obtain reliable linguistic features and models in this research area. In this paper, we propose to fuse Automatic Speech Recognition (ASR) outputs into the pipeline for joint training SER. The relationship between ASR and SER is understudied, and it is unclear what and how ASR features benefit SER. By examining various ASR outputs and fusion methods, our experiments show that in joint ASR-SER training, incorporating both ASR hidden and text output using a hierarchical co-attention fusion approach improves the SER performance the most. On the IEMOCAP corpus, our approach achieves 63.4% weighted accuracy, which is close to the baseline results achieved by combining ground-truth transcripts. In addition, we also present novel word error rate analysis on IEMOCAP and layer-difference analysis of the Wav2vec 2.0 model to better understand the relationship between ASR and SER.

研究の動機と目的

• 共同学習における自動音声認識（ASR）出力が、発話感情認識（SER）をどのように向上させるかを調査すること。
• 異なるASR出力（隠れ状態とテキスト出力）がSER性能に与える影響を分析すること。
• 感情発話におけるASRの失敗要因を、感情クラスごとの語誤り率（WER）の変動を分析することで理解すること。
• ASR誤りの影響を軽減する最適な統合戦略を同定すること。
• Wav2vec 2.0の中間層が、SERへのクロスタスク転移にどのように寄与するかを明らかにすること。

提案手法

• IEMOCAPコーパス上でWav2vec 2.0-base-960hモデルを微調整し、共同ASRおよびSER学習を実施する。
• 4種類のASR出力を抽出・利用する：最初、中間、最終層の隠れ状態、およびデコーダーからのテキスト出力。
• 音声特徴とASR出力の間のクロスモダリティ的関係をモデル化する階層的相互注意統合機構を実装する。
• 統合戦略を比較：連結、要素ごとの加算、および相互注意。相互注意が優れた性能を示した。
• 5分割交差検証を実施し、主評価指標として重み付き正確度（WA）を用いる。
• 感情クラスごとのWER分析と、Wav2vec 2.0表現の層ごとの分析を実施し、モダリティ特化された特徴の関連性を検討する。

実験結果

リサーチクエスチョン

• RQ1 ASR出力の統合が、共同学習設定下でのSER性能にどのように寄与するか？
• RQ2 隠れ状態とテキスト出力のうち、どちらのASR出力がSERにより効果的に寄与するか、その理由は何か？
• RQ3 感情発話における語誤り率（WER）は、異なる感情クラスでどのように変動するか？また、直感に反するパターンはどのような要因によるか？
• RQ4 ASRと音声特徴を統合する最適な戦略は何か？また、ASR誤りの影響をどのように軽減するか？
• RQ5 Wav2vec 2.0モデルのどの層がSERに最も情報豊かな表現を提供するか？また、それらの層はモダリティ感受性においてどのように異なるか？

主な発見

• 提案された階層的相互注意によるASR隠れ状態とテキスト出力の統合により、IEMOCAP上での重み付き正確度は63.4%に達し、真値トランスクリプトを用いたベースラインの60.0%にほぼ並んだ。
• Wav2vec 2.0の中間層隠れ状態が、テストされた3つの層の中で最高のSER性能（46.1% WA）を示したのに対し、最終層出力は42.0% WAに低下した。
• ASRデコーダーからのテキスト出力が、すべての隠れ状態表現を上回る性能を示した。これは、特徴のロバスト性に関する従来の仮定に反する結果であった。
• 語誤り率（WER）は「happy」と「neutral」の両方で最も高く、特に「neutral」は容易であると予想されるが、発話のプロソディックなばらつきと短い発話の影響によるものと考えられた。
• 10語未満の短い発話では、有意に高いWERが観測された。これは、長文がより誤りが多いとされる従来の仮定に反する結果であった。
• 相互注意統合は、連結や要素ごとの加算を上回った。特に真値トランスクリプトを用いた場合に顕著で、注意機構が関連するクロスモダリティ的依存関係を効果的にモデル化していることが示唆された。