[論文レビュー] Joint Deep Cross-Domain Transfer Learning for Emotion Recognition

Dung Nguyen, Sridha Sridharan+5 more|arXiv (Cornell University)|Mar 24, 2020

Emotion and Mood Recognition参考文献 29被引用数 10

ひとこと要約

本論文は、3つの教師信号（2つの感情分類器（交差エントロピー損失）および感情マッチング信号（対照的損失））を同時に最適化することで、複数のリソースが乏しく、互いに disjoint なデータセットにおける感情認識を共同で最適化する共同ディープクロスドメイン転移学習フレームワークを提案する。クロスドメインおよびクロスデータセット特徴を共同で学習することにより、eNTERFACE および SAVEE で平均80%の精度を達成し、最先端のベースラインを著しく上回り、分布シフトに対して頑健であることを示している。

ABSTRACT

Deep learning has been applied to achieve significant progress in emotion recognition. Despite such substantial progress, existing approaches are still hindered by insufficient training data, and the resulting models do not generalize well under mismatched conditions. To address this challenge, we propose a learning strategy which jointly transfers the knowledge learned from rich datasets to source-poor datasets. Our method is also able to learn cross-domain features which lead to improved recognition performance. To demonstrate the robustness of our proposed framework, we conducted experiments on three benchmark emotion datasets including eNTERFACE, SAVEE, and EMODB. Experimental results show that the proposed method surpassed state-of-the-art transfer learning schemes by a significant margin.

研究の動機と目的

• 感情認識におけるラベル付きデータの限界に取り組み、特に訓練データセットとテストデータセットが disjoint であり、分布シフトを受ける状況を想定する。
• 単一モodal（例：視覚的または音声的）内での知識転送にとどまる既存の転移学習手法の限界を克服し、ドメイン間で一般化できるようにする。
• クロスドメイン（例：視覚的から音声的へ）およびクロスデータセット特徴を共同で学習する統合的なディープラーニングフレームワークを開発し、モデルの一般化を向上させる。
• クラス内分散を最小化し、クラス間分散を最大化する新しい共同損失関数を用いて、複数のリソースが乏しいデータセット上でエンドツーエンドの学習を可能にする。
• eNTERFACE、SAVEE、EMODB の3つのベンチマークデータセットを用いて、マルチモーダル感情認識におけるフレームワークの有効性を示す。

提案手法

• 交差エントロピー損失を用いた2つの感情分類器（1ドメインずつ）と、同じ感情を持つペアのサンプルをマッチングするための対照的損失を備えた、3つの教師信号を持つ共同学習フレームワークを提案する。
• 異なるデータセットまたはモダリティからのデータを処理する2本のブランチを持つネットワークアーキテクチャを採用し、ドメイン間で共同特徴学習を可能にする。
• 特に低データ環境下でも性能を向上させるために、グループ正規化（GN）を統合する。
• メモリ消費を低減しながら性能を維持するため、2つのミニバッチサイズを採用し、限られたGPUリソース上でも効率的な学習を可能にする。
• 再学習を再開するのではなく、事前学習済みモデルから小さなペアのバッチを用いて継続的ファインチューニングすることで、対照的埋め込みを学習する。
• 対照的損失を用いて、データセット間でクラス内距離を最小化し、クラス間距離を最大化することで、頑健で一般化可能な特徴表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 複数のリソースが乏しく、互いに disjoint なデータセットにおける感情認識において、共同ディープクロスドメイン学習フレームワークは、感情の知識を効果的に転送できるか？
• RQ2 交差エントロピー損失と対照的損失を同時に最適化することで、単一損失または逐次学習戦略と比較して、モデルの一般化性能がどのように向上するか？
• RQ3 eNTERFACE と SAVEE のような異なる感情データセット間の分布シフトを、提案手法はどの程度軽減できるか？
• RQ4 ミニバッチサイズを2に制限することで性能が損なわれるか、それとも低リソース環境下でも効果的な学習と高い精度を達成できるか？
• RQ5 共有されるクロスドメイン表現を学習することで、視覚的から音声的へとモダリティをまたいで一般化できるか？

主な発見

• 提案された共同学習モデルは、eNTERFACE（94%）および SAVEE（66%）の両方で平均80%の感情認識精度を達成し、ベースラインモデルを著しく上回っている。
• eNTERFACE と SAVEE のデータを交差エントロピー損失のみで統合した V_SAV_eNTER_Model は平均64%の精度にとどまり、単純なデータの連結では分布シフトに対処できないことが示された。
• ミニバッチサイズ2で事前学習モデルをファインチューニングすることで、競争力のある性能が得られ、この手法がメモリ効率が良く、低リソース学習に適していることを示した。
• 対照的損失部はクラス内分散を効果的に低減し、クラス間分散を増加させ、より判別性の高い特徴学習を実現した。
• モデルはドメイン間でも良好に一般化しており、視覚的から音声的モダリティへと成功したクロスドメイン知識転送を示した。
• 著者らの知る限り、本手法は、リソースが乏しいデータセットにおける感情認識の文脈で、一度のエンドツーエンドフレームワーク内でクロスドメインおよびクロスデータセット特徴を共同で学習する最初の手法である。