[論文レビュー] Transfer learning from High-Resource to Low-Resource Language Improves Speech Affect Recognition Classification Accuracy

Sara Durrani, Muhammad Umair Arshad|arXiv (Cornell University)|Mar 4, 2021

Emotion and Mood Recognition被引用数 4

ひとこと要約

本稿では、高リソース言語データ（IEMOCAP、EMOVO）を活用して、低リソース言語（ウルドゥ語、イタリア語）における音声感情認識を向上させるトランスファーラーニング手法を提案する。それぞれの言語でUARスコア69.32%および68.52%を達成した。事前学習済みのエンコーダー・デコーダー・モデルに注意機構を組み合わせ、ターゲット言語データでファインチューニングすることで、ベースラインおよびクロスコーパス設定よりも顕著に性能が向上し、成功の鍵はエンコーダーおよび注意パラメータの両方のトランスファーにあることが示された。

ABSTRACT

Speech Affect Recognition is a problem of extracting emotional affects from audio data. Low resource languages corpora are rear and affect recognition is a difficult task in cross-corpus settings. We present an approach in which the model is trained on high resource language and fine-tune to recognize affects in low resource language. We train the model in same corpus setting on SAVEE, EMOVO, Urdu, and IEMOCAP by achieving baseline accuracy of 60.45, 68.05, 80.34, and 56.58 percent respectively. For capturing the diversity of affects in languages cross-corpus evaluations are discussed in detail. We find that accuracy improves by adding the domain target data into the training data. Finally, we show that performance is improved for low resource language speech affect recognition by achieving the UAR OF 69.32 and 68.2 for Urdu and Italian speech affects.

研究の動機と目的

• 低リソース言語における音声感情認識のためのアノテート済みデータが限られているという課題に対処すること。
• 高リソース言語から低リソース言語へのトランスファーラーニングが分類精度を向上させるかどうかを調査すること。
• 複数のコーパスで共同学習することの、多言語感情認識における一般化性能への影響を評価すること。
• 成功したトランスファーに最も寄与するモデル部品（エンコーダー、デコーダー、注意機構）を特定すること。

提案手法

• エンコーダー・デコーダー構造に注意機構を組み合わせた序列変換モデルを、エンドツーエンド音声感情認識に用いる。
• 一般の感情パターンを学習するために、高リソースコーパス（IEMOCAPおよびEMOVO）でモデルを事前学習する。
• 低リソース言語データ（ウルドゥ語およびイタリア語）を、事前学習済みモデルを用いてファインチューニングし、トレーニング中にドメイン固有のデータを追加する。
• トランスファーラーニングは、ソース言語モデルのエンコーダーおよび注意パラメータの重みを初期値としてターゲット言語モデルに適用することで実現する。
• 一般化性能の評価に3分割交差検証を用いる。
• クラスの不均衡を扱うために、主な指標として未加重平均再現率（UAR）を用いる。

実験結果

リサーチクエスチョン

• RQ1 高リソース言語から低リソース言語へのトランスファーラーニングは、音声感情認識の精度を向上させることができるか？
• RQ2 複数のコーパスで共同学習することで、異なる言語および感情クラスへのモデルの一般化性能はどのように変化するか？
• RQ3 事前学習済みモデルのどの部品（エンコーダー、デコーダー、注意機構）が低リソース環境でのトランスファーに最も効果的か？
• RQ4 ファインチューニング中にドメイン固有のターゲット言語データを追加することで、性能は向上するか？

主な発見

• トランスファーラーニング手法により、ウルドゥ語で69.32%、イタリア語で68.52%のUARを達成し、ベースラインおよびクロスコーパス設定を顕著に上回った。
• IEMOCAPで学習したモデルをウルドゥ語でファインチューニングした場合、ウルドゥ語で69.32%のUARを達成し、低リソース言語への有効な知識移転を示した。
• トレーニング中にドメイン固有のターゲット言語データを追加することで分類精度が向上し、ドメイン内ファインチューニングの重要性が浮き彫りになった。
• エンコーダーおよび注意パラメータの両方をトランスファーすることが、性能向上の鍵であった。デコーダーのみをトランスファーした場合、顕著な改善は得られなかった。
• 特に高リソースコーパスで学習し、低リソース言語でテストした場合に、既存の手法を上回る性能を示した。
• 結果から、ウルドゥ語やイタリア語といった低リソース言語が、一部のトランスファー設定において高リソースの英語よりも高い精度を達成していることが示され、データ不足の緩和にトランスファーラーニングが有効である可能性が示された。