[論文レビュー] EmoNet: A Transfer Learning Framework for Multi-Corpus Speech Emotion Recognition

Maurice Gerczuk, Shahin Amiriparian+2 more|arXiv (Cornell University)|Mar 10, 2021

Speech and Audio Processing被引用数 7

ひとこと要約

EmoNetは、26の多様なSERデータセットからなる大規模統合コーパス（EmoSet）を用いて、残差アダプタを適用したパrameter効率の良い転移学習フレームワークを提案する。主なResNetバックボーンを共有しつつ、アダプタモジュールのみを微調整することで、26のデータセットのうち21で性能向上を達成し、そのうち10つは統計的に有意である。パrameter数は単一データセットモデルの3.5倍にとどまる。

ABSTRACT

In this manuscript, the topic of multi-corpus Speech Emotion Recognition (SER) is approached from a deep transfer learning perspective. A large corpus of emotional speech data, EmoSet, is assembled from a number of existing SER corpora. In total, EmoSet contains 84181 audio recordings from 26 SER corpora with a total duration of over 65 hours. The corpus is then utilised to create a novel framework for multi-corpus speech emotion recognition, namely EmoNet. A combination of a deep ResNet architecture and residual adapters is transferred from the field of multi-domain visual recognition to multi-corpus SER on EmoSet. Compared against two suitable baselines and more traditional training and transfer settings for the ResNet, the residual adapter approach enables parameter efficient training of a multi-domain SER model on all 26 corpora. A shared model with only $3.5$ times the number of parameters of a model trained on a single database leads to increased performance for 21 of the 26 corpora in EmoSet. Measured by McNemar's test, these improvements are further significant for ten datasets at $p<0.05$ while there are just two corpora that see only significant decreases across the residual adapter transfer experiments. Finally, we make our EmoNet framework publicly available for users and developers at https://github.com/EIHW/EmoNet. EmoNet provides an extensive command line interface which is comprehensively documented and can be used in a variety of multi-corpus transfer learning settings.

研究の動機と目的

• 26の既存コーパスを統合して大規模な統合コーパス（EmoSet）を構築し、限られた分散型の音声感情認識（SER）データセットの課題に対処する。
• 各コーパスごとに別々のモデルを学習する非効率性を解消し、複数の多様なSERコーパス間でパrameter効率の良い転移学習を可能にする。
• 多様な感情的スピーチデータに一般化可能なディーブラーニングフレームワークを構築し、計算コストとパrameterの増加を最小限に抑える。
• 公開済みで詳細なドキュメンテーションが整ったコマンドラインインターフェースを通じて、研究者がさまざまなマルチコーパスおよびマルチドメイン音声解析タスクに容易にフレームワークを適用できるようにする。

提案手法

• 26の既存SERデータセットからなる84,181件の音声録音を含む統合コーパスであるEmoSetを構築し、合計で65時間以上の音声データをカバーする。
• マルチドメイン視覚認識分野で用いられる残差アダプタ技術を、メルスペクトログ램入力の音声感情認識タスクに適応する。
• 特定の層に軽量な残差アダプタモジュールを挿入した共有ディープなResNetバックボーンを訓練し、各コーパスごとにパrameter効率の良い微調整を可能にする。
• ラウンドロビン方式のサンプリング戦略を用い、全26コーパスを同時に学習する際、各バッチが順番に異なるデータセットから抽出されるようにする。
• アダプタベースの転移学習手法を、2つのベースライン（各コーパスごとにモデルをからっきしに学習する方法、および分類ヘッドのみを微調整する方法）と比較する。
• 標準的なSER指標を用いて性能を評価し、統計的有意性はマクネマー検定により評価する。

実験結果

リサーチクエスチョン

• RQ1 26の多様で小規模なSERコーパス間で、統合されたディーブラーニングフレームワークが知識を効果的に転送し、感情認識性能を向上させることができるか？
• RQ2 残差アダプタの使用により、フル微調整と比較してパrameter効率の良い転移学習が可能となり、性能が維持または向上するか？
• RQ3 全26コーパスを同時に学習した共有モデルの性能は、各データセットごとに個別に学習したモデルと比較して、一般化性能や統計的有意性の観点で優れているか？
• RQ4 特定のコーパスではマルチコーパスアプローチにより性能が低下する場合があり、その要因として何が考えられるか？

主な発見

• EmoNetフレームワークは、残差アダプタを用いてEmoSet全体を学習した結果、26コーパスのうち21で、からっきしに学習した場合や分類ヘッドのみを微調整した場合と比較して性能向上を達成した。
• 21の改善を示したコーパスのうち10つでは、マクネマー検定によりp < 0.05の水準で統計的に有意な向上が確認された。
• 2つのコーパス、eNTERFACEとMESでは、アダプタベース手法で一貫して性能が悪化したが、eNTERFACEは元々高い単一データセット性能を示していたため、この結果は妥当であると考えられる。
• アダプタベース手法は、単一データセットモデルのパrameter数の3.5倍にとどまり、多くの場合、フル微調整（約10倍のパrameterが必要）を上回る性能を発揮した。
• フレームワークは、各コーパスのデータ量が限られている中でも、残差アダプタを用いたマルチコーパス学習が、多様な感情的スピーチデータ間で効果的な知識転送を可能にすることを示した。
• 公開されたEmoNetフレームワークには、包括的なコマンドラインインターフェースが含まれており、マルチコーパス音声解析タスクへの広範な再利用と拡張が可能である。