[論文レビュー] Transfer Learning based Speech Affect Recognition in Urdu

Sara Durrani, Muhammad Umair Arshad|arXiv (Cornell University)|Mar 5, 2021

Speech and Audio Processing参考文献 20被引用数 6

ひとこと要約

本稿では、低リソース言語であるウルドゥー語における低リソース音声感情認識（SAR）を改善するため、ディープ残差ネットワーク（ResNet34）を用いた転移学習アプローチを提案する。高リソース言語の英語およびドイツ語データセット（RAVDESS、SAVEE、Emo-DB）で事前学習を行い、ウルドゥー語のデータをたった400発話分で微調整することで、ウルドゥー語で74.7％の未加重平均再現率（UAR）を達成した。これはベースラインモデルを著しく上回り、事前学習モデルがデータ不足を補うために重要な音声特徴を効果的に転送できることを示している。

ABSTRACT

It has been established that Speech Affect Recognition for low resource languages is a difficult task. Here we present a Transfer learning based Speech Affect Recognition approach in which: we pre-train a model for high resource language affect recognition task and fine tune the parameters for low resource language using Deep Residual Network. Here we use standard four data sets to demonstrate that transfer learning can solve the problem of data scarcity for Affect Recognition task. We demonstrate that our approach is efficient by achieving 74.7 percent UAR on RAVDESS as source and Urdu data set as a target. Through an ablation study, we have identified that pre-trained model adds most of the features information, improvement in results and solves less data issues. Using this knowledge, we have also experimented on SAVEE and EMO-DB data set by setting Urdu as target language where only 400 utterances of data is available. This approach achieves high Unweighted Average Recall (UAR) when compared with existing algorithms.

研究の動機と目的

• 低リソース言語における音声感情認識（SAR）のデータ不足問題、特にウルドゥー語に対して解決を図ること。
• 高リソース言語（英語、ドイツ語）からの転移学習が、低リソース環境におけるSAR性能を向上させることを調査すること。
• 事前学習済みディープ残差ネットワークが、言語間で特徴を効果的に転送できるかどうかを評価すること。
• 転移学習により、最小限のターゲット言語データで高いUARを達成でき、大規模なアノテート済みデータセットへの依存を軽減できることを実証すること。

提案手法

• すべての実験において、音声クリップから抽出したメルスペクトログ램を用い、Librosaを用いて処理したResNet34アーキテクチャをバックボーンモデルとして使用する。
• ベースラインモデルは、高リソースデータセット（英語用にRAVDESS、ドイツ語用にEmo-DB）で事前学習され、一般的な音声感情特徴を学習する。
• 転移学習では、事前学習モデルの初期層を固定し、新しい分類ヘッドを追加して低リソースのウルドゥー語データセットで微調整する。
• モデルは、複数の感情クラス（ニュートラル、怒り、悲しみ、喜び）の感情ラベルを予測するため、ソフトマックス出力層を用いてエンドツーエンドで訓練する。
• 訓練にはバッチサイズ25、80/20のトレーニング・テスト分割、100エポック、固定学習率を用い、実験間で一貫した最適化を確保する。
• クラスの不均衡を考慮するため、主な評価指標として未加重平均再現率（UAR）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 高リソース言語（英語、ドイツ語）からの転移学習が、低リソースのウルドゥー語における音声感情認識性能を顕著に向上させることができるか？
• RQ2 高リソース言語で事前学習することで、低リソースSAR環境における特徴学習およびモデル一般化性能にどのような影響を与えるか？
• RQ3 特に400発話という極めて少ないデータ量での場合に、転移学習が低リソースSARにおけるデータ依存性をどの程度軽減できるか？
• RQ4 低リソース状況において、事前学習モデルはランダム初期化や微調整初期化よりも、性能向上に寄与しているか？

主な発見

• 提案手法の転移学習アプローチは、RAVDESSで事前学習した英語モデルから微調整した場合、ウルドゥー語データで74.7％のUARを達成し、ベースラインを著しく上回った。
• ドイツ語（Emo-DB）から転移した場合、ウルドゥー語で87.5％のUARを達成し、顕著な言語間転送可能性を示した。
• アブレーションスタディにより、事前学習モデルが性能向上に最も寄与していることが確認され、特に低レベルの音声特徴を捉える点で重要であった。
• 最小限のターゲットデータでさえ、事前学習からの転移学習により、学習から再開した場合と比較してUARが10～15ポイント向上した。
• 特にデータが少ない状況でも、既存の手法を上回る性能を示し、本手法の効率性とスケーラビリティを裏付けた。
• 結果から、事前学習モデルが話者およびチャネルのばらつきを効果的に緩和し、言語間設定においても耐性を高めることを示した。