[論文レビュー] Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning

Deniz Cevher, Sebastian Zepf+1 more|arXiv (Cornell University)|Sep 6, 2019

Emotion and Mood Recognition被引用数 13

ひとこと要約

本稿では、自動車内でのドイツ語スピークインタクションにおけるマルチモーダル感情認識のための転移学習アプローチを提案する。音声、顔貌、および転写テキストのモダリティを統合する。新たに構築された自動車内コーパス（AMMER）上で微調整された事前学習済みテキストモデルを用いることで、喜び、不満、不安の3つの感情に対して最大76％のマイクロF1を達成し、オフザシェルフツールを最大10ポイント上回る性能を発揮した。特にテキストベースの感情認識において顕著な向上が見られた。

ABSTRACT

The recognition of emotions by humans is a complex process which considers multiple interacting signals such as facial expressions and both prosody and semantic content of utterances. Commonly, research on automatic recognition of emotions is, with few exceptions, limited to one modality. We describe an in-car experiment for emotion recognition from speech interactions for three modalities: the audio signal of a spoken interaction, the visual signal of the driver's face, and the manually transcribed content of utterances of the driver. We use off-the-shelf tools for emotion detection in audio and face and compare that to a neural transfer learning approach for emotion recognition from text which utilizes existing resources from other domains. We see that transfer learning enables models based on out-of-domain corpora to perform well. This method contributes up to 10 percentage points in F1, with up to 76 micro-average F1 across the emotions joy, annoyance and insecurity. Our findings also indicate that off-the-shelf-tools analyzing face and audio are not ready yet for emotion detection in in-car speech interactions without further adjustments.

研究の動機と目的

• 音声、顔貌、およびテキスト信号を用いたドイツ語自動車内スピークインタクションのマルチモーダル感情認識システムの開発。
• 制御された自動車内環境における顔貌および音声感情認識のためのオフザシェルフツールの性能評価。
• ドメイン外で高品質なテキストコーパスから得た転移学習が、リソースが限られた自動車内環境における感情認識性能を向上させ得るかの検証。
• テキストベースの感情分類において、ドメイン内およびドメイン外データを統合した学習と転移学習の性能を比較。
• 自動車環境における感情認識のためのマルチモーダル統合の実現可能性と性能の評価。

提案手法

• 12名の参加者が仮想エージェントおよび同乗者と感情を含んだスピークインタクションを行うドライブシミュレータからマルチモーダルデータセット（AMMER）を収集した。
• 顔貌表情認識（OpenCVおよびFACSベースのトラッキングを用いて）および音声感情検出（プロソディーおよびスペクトル特徴に基づく）のためのオフザシェルフツールを適用した。
• ドメイン外コーパス（例：ISEAR、EmoInt、TEC、Figure8）から事前学習されたモデルをAMMERデータセット上で微調整することで、ニューラルネットワークベースのテキスト分類器を実装した。
• 転移学習のためのリーブ・ワン・アウト交差検証を実施し、各モデルを外部コーパスで事前学習し、AMMERのトレーニングサブセットでさらに最適化した。
• 転移学習の性能を、すべてのドメイン外データに加えてAMMERを用いた統合学習ベースラインと比較し、転移学習の利点を明確にした。
• 3つのターゲット感情（喜び、不満、不安）のマイクロ平均F1スコアを用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化のない適応なしで、オフザシェルフツールによる顔貌および音声感情認識は自動車内スピークインタクションのシナリオでどの程度の性能を示すか？
• RQ2 高品質でドメイン外のテキストコーパスからの転移学習は、リソースが限られた自動車内環境における感情認識性能をどの程度向上させ得るか？
• RQ3 テキストベースの感情分類において、ドメイン内およびドメイン外データを統合した学習よりも転移学習が優れているか？
• RQ4 顔貌表情、音声信号、または転写テキストのうち、どのモダリティがドイツ語自動車内インタラクションにおける感情認識に最も効果的に寄与するか？
• RQ5 限られたドメイン内データがある状況でも、転移学習が、不安や不満のような洗練された感情を含む、ドメインをまたがる強固な感情分類を可能にするか？

主な発見

• 転移学習を用いたテキスト分類は、最大76％のマイクロ平均F1スコアを達成し、オフザシェルフツールおよび統合学習ベースラインを顕著に上回った。
• 転移学習アプローチは、統合学習ベースライン比で最大13ポイントの性能向上を達成した。特にISEARで事前学習されたモデルにおいて顕著であった。
• オフザシェルフ顔貌表情認識ツールは限られた性能にとどまり、喜びの認識はやや良好であったが、不満や不安の検出は著しく不十分であった。
• 音声感情認識ツールは否定的状態に強くバイアスがかかる傾向を示し、話者固有のパーソナライゼーションや環境適応の必要性を示唆した。
• テキストベースの感情認識が最も効果的なモダリティであり、転移学習により限られたドメイン内データでも高い性能が達成された。
• 結果から、高品質でドメイン外のテキストコーパスからの転移学習は、自動車内インタラクションのような特殊分野におけるリソースが限られた感情認識のための実用的で効果的な戦略であると示唆された。