[論文レビュー] On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era

Shahin Amiriparian, Artem Sokolov+10 more|arXiv (Cornell University)|Apr 20, 2021

Speech Recognition and Synthesis参考文献 31被引用数 9

ひとこと要約

本稿は、ディープラーニング時代における自動音声認識（ASR）の単語誤り率（WER）が、音声感情認識（SER）に与える影響を調査する。現代のASRシステム（RNN-T、CTC、wav2vec）と事前学習済みテキストエンコーダー（BERT、DeepMoji、ELECTRA）を用い、音声特徴（openSMILE、DeepSpectrum、auDeep、BoAW）とASR出力およびゴールスタンダードトランスクリプトを統合することで、IEMOCAPで最終結合によるLate fusionを用いて開発セットで73.6%、テストセットで73.8%のSOTA未加重平均再現率（UAR）を達成した。

ABSTRACT

Text encodings from automatic speech recognition (ASR) transcripts and audio representations have shown promise in speech emotion recognition (SER) ever since. Yet, it is challenging to explain the effect of each information stream on the SER systems. Further, more clarification is required for analysing the impact of ASR's word error rate (WER) on linguistic emotion recognition per se and in the context of fusion with acoustic information exploitation in the age of deep ASR systems. In order to tackle the above issues, we create transcripts from the original speech by applying three modern ASR systems, including an end-to-end model trained with recurrent neural network-transducer loss, a model with connectionist temporal classification loss, and a wav2vec framework for self-supervised learning. Afterwards, we use pre-trained textual models to extract text representations from the ASR outputs and the gold standard. For extraction and learning of acoustic speech features, we utilise openSMILE, openXBoW, DeepSpectrum, and auDeep. Finally, we conduct decision-level fusion on both information streams -- acoustics and linguistics. Using the best development configuration, we achieve state-of-the-art unweighted average recall values of $73.6\,\%$ and $73.8\,\%$ on the speaker-independent development and test partitions of IEMOCAP, respectively.

研究の動機と目的

• 現代のディープラーニングシステムにおけるASR単語誤り率（WER）が言語的音声感情認識（SER）に与える影響を調査すること。
• エンドツーエンドSERシステムにおいて、ゴールスタンダード（GS）トランスクリプトとASR出力トランスクリプトの間の性能差を評価すること。
• 最先端のSERパフォーマンスを達成するための音声的および言語的特徴セットの最適な組み合わせを同定すること。
• 音声的、GSテキスト、ASRテキスト表現を統合する最終結合戦略の有効性を評価すること。
• 将来のSER研究のための生態的妥当なベンチマークを提供すること。これは、理想的な人間によるトランスクリプトではなく、実際のASR出力を用いる。

提案手法

• 生音声に3つの現代的ASRシステム（RNN-T、CTC、wav2vec）を適用し、ASRトランスクリプトを生成。WERはゴールスタンダードトランスクリプトと比較して測定された。
• 事前学習済みNLPモデル（BERT、DeepMoji、ELECTRA）を用いて、ASR出力およびゴールスタンダードトランスクリプトから文脈的テキスト埋め込みを抽出した。
• 4つの音声特徴抽出手法を用いた：openSMILE（ComParE 2016）、BoAW（openXBOWから取得）、DeepSpectrum（事前学習済みDenseNet121を用いて）、auDeep（オートエンコーダーに基づく表現学習）。
• 複数の音声的および言語的特徴セットの予測を統合するために、多数決による最終結合を適用した。
• IEMOCAPデータセットの開発セットおよびテストセットにおいて、個々の特徴セットとその組み合わせを網羅的にアブレーションスタディで評価した。
• パフォーマンスは未加重平均再現率（UAR）で評価され、複数の設定における統計的有意性も検証された。

実験結果

リサーチクエスチョン

• RQ1 ASR単語誤り率（WER）が上昇するにつれて、言語的音声感情認識のパフォーマンスにどのような影響を与えるか？
• RQ2 音声特徴と統合された際、ASR出力トランスクリプトとゴールスタンダードトランスクリプトの間でSERパフォーマンスに差は生じるか？
• RQ3 最終結合設定において、音声的および言語的特徴セットのどの組み合わせが最高のSERパフォーマンスをもたらすか？
• RQ4 ASRベースとゴールスタンダードベースのテキスト埋め込みの類似性が、初期結合または最終結合の両方においてパフォーマンス向上を制限する要因となるか？
• RQ5 ターゲットデータセットに微調整を行わずに、実際のASR出力のみを用いて最先端のSERパフォーマンスを達成できるか？

主な発見

• ゴールスタンダードトランスクリプトは、言語的のみのSERにおいて一貫してASR出力トランスクリプトを上回り、WERが低いほど未加重平均再現率（UAR）が高くなる明確な相関が確認された。
• 分離しては低いパフォーマンスであったが、音声特徴と統合されたASRベースのテキスト特徴は依然として正の寄与を示し、IEMOCAPテストセットで73.8%のUARを達成した。
• 最高パフォーマンスを示した設定では、開発セットで73.6%、テストセットで73.8%のUARを達成し、発話者独立評価におけるIEMOCAPのSOTAを更新した。
• 音声、GSテキスト、ASRテキストのすべての特徴セットの組み合わせが、平均UAR（66.2%）と最大UAR（73.6%）を最高水準に引き上げており、多様な表現からの利益が示された。
• ASRベースとGSベースのテキスト特徴の統合は、GSテキスト単体よりもパフォーマンスが向上しなかった。これは、特徴の類似性と冗長性が原因と考えられる。
• 最高のパフォーマンスを示した統合戦略は、BERT、DeepMoji、auDeep特徴を音声表現と統合したものであり、マルチモーダルおよびマルチアーキテクチャ統合の価値を示した。