[論文レビュー] Emotion Recognition in Speech Using Cross-Modal Transfer in the Wild

Samuel Albanie, Arsha Nagrani+2 more|arXiv (Cornell University)|Aug 16, 2018

Emotion and Mood Recognition参考文献 56被引用数 14

ひとこと要約

本論文では、ラベルなし動画データを用いて、事前学習済みの視覚モデルから音声感情認識モデルへ顔の感情認識知識を転送するクロスモodal distillation手法を提案する。顔の表情と声の感情の相関を活用することで、ラベルなし音声データのみで学習する音声専用モデルを訓練し、ラベルなし動画を事前学習に用いることで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Obtaining large, human labelled speech datasets to train models for emotion recognition is a notoriously challenging task, hindered by annotation cost and label ambiguity. In this work, we consider the task of learning embeddings for speech classification without access to any form of labelled audio. We base our approach on a simple hypothesis: that the emotional content of speech correlates with the facial expression of the speaker. By exploiting this relationship, we show that annotations of expression can be transferred from the visual domain (faces) to the speech domain (voices) through cross-modal distillation. We make the following contributions: (i) we develop a strong teacher network for facial emotion recognition that achieves the state of the art on a standard benchmark; (ii) we use the teacher to train a student, tabula rasa, to learn representations (embeddings) for speech emotion recognition without access to labelled audio data; and (iii) we show that the speech emotion embedding can be used for speech emotion recognition on external benchmark datasets. Code, models and data are available.

研究の動機と目的

• 現実世界（in-the-wild）の状況において、限られた、高コストで曇りがちな人間によるアノテーション付き音声感情データセットの課題に対処すること。
• 顔の感情認識モデルが、ラベルなし動画データを介して、音声感情認識モデルの学習に弱い監視信号を提供できるかどうかを検討すること。
• 大規模なラベルなし動画データの活用によって、高価で主観的かつ多様性に欠けるラベル付き音声データへの依存を減らすこと。
• 知識蒸留を用いて視覚から音声へ感情表現を転送することで、ドメインを超えて一般化可能な手法を開発すること。
• クロスモダリティ転移によって訓練された音声モデルが、外部のホールドアウトされたベンチマークで優れた性能を示すことを実証すること。

提案手法

• FerPlusベンチマークで顔の感情認識のための強力な教師モデルを訓練し、最先端の性能を達成する。
• 教師モデルをVoxCelebデータセットのラベルなし動画データに適用し、顔の感情に対する偽ラベルを生成する。
• 教師のソフト確率を監視信号として用いて、偽ラベル付きの顔の感情予測を基に、学生の音声モデル（tabula rasa）を知識蒸留によって訓練する。
• 蒸留は、同じ動画クリップにおいて、学生の出力と教師のソフト確率との間の交差エントロピー損失を最小化することで実行される。
• 学生モデルは、音声と視覚のモダリティ間の冗長性を活用して、感情を含む音声埋め込みを学習する。
• 最終的な音声感情認識モデルは、ラベル付き音声での微調整なしに、外部データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 標準的なベンチマークで学習された顔の感情認識モデルが、ラベルなし動画データに対して偽ラベルを生成し、音声感情認識の監視に用いられるか？
• RQ2 ラベルなし音声データのない状況で、顔の表情からの知識をどれだけ音声感情認識の向上に転送できるか？
• RQ3 視覚から音声へのクロスモダリティ・ディスティルレーションが、強固で一般化可能な音声感情表現をもたらすか？
• RQ4 蒸留された音声モデルの性能は、標準ベンチマークで教師ありベースラインと比べてどうか？
• RQ5 この手法は、未観測のデータセットに一般化可能か？また、曇りがかったまたはノイズの多い感情信号に対しても対応できるか？

主な発見

• 提案手法は、強力な教師モデルを用いて、FerPlusベンチマークにおける顔の感情認識で最先端の性能を達成した。
• 蒸留された音声モデルは、RMLデータセットのホールドアウト検証スプリットで平均ROC AUC 0.71を達成し、ランダムベースラインより顕著に優れた性能を示した。
• 学生モデルは外部データセットへも良好に一般化し、ラベル付き音声での微調整なしにRMLおよびeNTERFACEベンチマークで競争力のある性能を達成した。
• 学生モデルは、聴取可能（heardVal）と聴取不可（unheardVal）スプリットで類似した性能（平均ROC AUC 0.71 vs. 0.69）を示しており、話者の識別子を便宜的な手がかりとして利用していないことが示唆された。
• 本手法により、VoxCelebデータセットに自動でアノテートされた顔の感情を含む新しいデータセット「EmoVoxCeleb」が生成され、公開された。
• 誤り行列の結果から、学生モデルはある程度の性能を示しているが、ほとんどの感情に対して教師モデルより誤りが多く、クロスモダリティ統合におけるモダリティ固有の制限が顕在していることがわかった。