[論文レビュー] An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild

Denis Dresvyanskiy, Elena Ryumina+4 more|arXiv (Cornell University)|Oct 7, 2020

Speech and Audio Processing被引用数 9

ひとこと要約

本論文は、音声および映像モダリティを用いた、野生環境下における感情認識のためのマルチモーダル深層学習および転移学習フレームワークを提案する。映像に対してはVGGFace2およびVGG-FERモデルを用いた転移学習を実施し、音声はSpleeterを用いて分離処理し、重み付き融合戦略を用いて単モダリティ予測を統合した。これにより、ABAW顔の感情反応サブチャレンジでテストセットの成績が42.10%に達した。

ABSTRACT

In this paper, we present our contribution to ABAW facial expression challenge. We report the proposed system and the official challenge results adhering to the challenge protocol. Using end-to-end deep learning and benefiting from transfer learning approaches, we reached a test set challenge performance measure of 42.10%.

研究の動機と目的

• 制御のない現実世界の環境（野生環境）におけるマルチモーダル感情認識の向上を図ること。
• 感情認識における映像および音声モダリティにおける転移学習の有効性を調査すること。
• 個々のモダリティの予測を統合するための異なる統合戦略の評価を通じて、全体のパフォーマンスの向上を図ること。
• マルチモーダル感情認識システムにおける音声モダリティの寄与度を分析すること。
• ABAW顔の感情反応チャレンジデータセット上で、重み付き統合技術を用いてモデルのパフォーマンスを最適化すること。

提案手法

• 転移学習を用いて、顔の感情データに対してVGGFace2およびVGG-FERモデルを微調整し、映像ベースの感情認識を実施した。
• 深層埋め込みの平均値および標準偏差を用いた4秒間の動画ウィンドウに対して、2次元畳み込みニューラルネットワーク（2D CNN）とサポートベクターマシン（SVM）を組み合わせた時系列モデリングを実施した。
• Spleeterを用いて音声からボーカル成分を分離し、背景ノイズの影響を低減した。
• 音声表現学習には1次元畳み込みニューラルネットワーク（1D CNN）＋LSTMおよびPANNベースのモデルを用いた。
• 単モダリティ予測の統合に、シンプル重み付き統合（SWF）およびモデルとクラスベースの重み付き統合（MCWF）の2つの戦略を採用した。
• クラスの不均衡を緩和し、耐性を向上させるために、対数スケールのクラス重み付けとデータ拡張（回転、反転、明るさ変更）を適用した。

実験結果

リサーチクエスチョン

• RQ1 VGGFace2およびVGG-FERを用いた転移学習は、野生環境下の映像ベースの感情認識においてどの程度効果的か？
• RQ2 ノイズが多いまたは音声がない録画であっても、音声ベースのモデルはマルチモーダル感情認識のパフォーマンスを向上させられるか？
• RQ3 シンプル重み付き統合（SWF）とモデルとクラスベースの重み付き統合（MCWF）のどちらの統合戦略が、マルチモーダル感情認識において優れたパフォーマンスを示すか？
• RQ4 動的顔の表情を捉えるために最適な時間ウィンドウサイズは何か？
• RQ5 異なる音声前処理およびモデリング手法は、最終的な認識精度にどのように影響を与えるか？

主な発見

• 提案されたマルチモーダル統合システムは、テストセットのチャレンジ成績として42.10%を達成し、すべての提出物の中で最高の結果であった。
• VGGFace2ベースのCNN＋SVMモデルは、検証セットで55.66%、テストセットで42.00%を達成し、独立した音声モデルを上回った。
• MCWFを用いてVGGFace2＋SVMと1D CNN＋LSTMモデルを統合した場合、テストセットで42.10%を達成し、最も優れたパフォーマンスを示した設定であった。
• 音声ベースのモデル（1D CNN＋LSTMおよびPANN）は、背景ノイズや無音などのデータ品質の問題のため、パフォーマンス向上にほとんど寄与しなかった。
• MCWF統合戦略は、単純平均化よりもパフォーマンスを向上させたが、特に多様な映像モデルを統合する際に顕著であった。
• VGG-FERベースのCNN＋KELMモデルは、VGGFace2＋SVMアプローチに比べて低いパフォーマンスにとどまり、ドメイン特化の微調整が極めて重要であることが示された。