[論文レビュー] An audiovisual and contextual approach for categorical and continuous emotion recognition in-the-wild

Panagiotis Antoniadis, Ioannis Pikoulis+2 more|arXiv (Cornell University)|Jul 7, 2021

Emotion and Mood Recognition参考文献 43被引用数 30

ひとこと要約

本稿では、CNN-RNNバックボーンを用いて顔、身体、文脈的視覚特徴と音声モダリティを統合するマルチストリーム・マルチモーダル音声視覚感情認識フレームワークを提案する。本研究は、特に困難なイン・ザ・ワイルドな状況下でも顔や身体、シーンの文脈が感情認識に顕著に寄与することを示し、Aff-Wild2の検証セットで最先端の性能を達成した。

ABSTRACT

In this work we tackle the task of video-based audio-visual emotion recognition, within the premises of the 2nd Workshop and Competition on Affective Behavior Analysis in-the-wild (ABAW2). Poor illumination conditions, head/body orientation and low image resolution constitute factors that can potentially hinder performance in case of methodologies that solely rely on the extraction and analysis of facial features. In order to alleviate this problem, we leverage both bodily and contextual features, as part of a broader emotion recognition framework. We choose to use a standard CNN-RNN cascade as the backbone of our proposed model for sequence-to-sequence (seq2seq) learning. Apart from learning through the RGB input modality, we construct an aural stream which operates on sequences of extracted mel-spectrograms. Our extensive experiments on the challenging and newly assembled Aff-Wild2 dataset verify the validity of our intuitive multi-stream and multi-modal approach towards emotion recognition in-the-wild. Emphasis is being laid on the the beneficial influence of the human body and scene context, as aspects of the emotion recognition process that have been left relatively unexplored up to this point. All the code was implemented using PyTorch and is publicly available.

研究の動機と目的

• 悪質な照明、隠蔽、低解像度といった要因により顔のみに依存する感情認識の限界を、現実世界（イン・ザ・ワイルド）の状況で解消すること。
• 身体のポーズとシーンの文脈を感情認識の補助的手がかりとして統合することの影響を調査すること。
• マルチモーダル統合を用いて、カテゴリー的（表情）および連続的（退屈度-覚醒度）な感情認識タスクの両方の性能を向上させること。
• メルスペクトログ램に基づく音声ストリームが視覚ストリームと併用された場合の効果を示すこと。
• 再現可能性および感情行動分析分野におけるさらなる研究を支援するため、公開可能なPyTorch実装を提供すること。

提案手法

• 動画シーケンスにおけるシーケンス・ツー・シーケンス学習に、標準的なCNN-RNN（ConvNet + LSTM）のカスケードを採用する。
• すべての視覚特徴抽出器に、タスク固有のデータセットで事前学習された50層のResNetをバックボーンとして使用する。
• 3つの視覚ストリームを構築する：(1) 顔のみ（F）、(2) 身体および文脈特徴（BCF）、(3) 顔＋身体＋文脈の統合。
• 音声から抽出したメルスペクトログラムのシーケンスを処理する音声ストリームを実装し、同じCNN-RNNアーキテクチャを用いる。
• 特徴表現のラテント・フェージョンとモデル出力の重み付き平均を用いて、音声ストリームと視覚ストリームを統合する。
• 視覚的・意味的埋め込み損失（Lemb）を適用し、GloVe埋め込みを用いて視覚的およびテキスト的表現を一致させる。λemb = 1.0とする。

実験結果

リサーチクエスチョン

• RQ1 身体的およびシーンの文脈が、制約のないイン・ザ・ワイルドな動画設定下での感情認識性能にどの程度寄与するか？
• RQ2 メルスペクトログラムを介した音声モダリティの統合が、カテゴリー的および次元的（次元的）な感情認識の両方の性能に与える影響は？
• RQ3 複数ストリーム・マルチモーダルアーキテクチャは、厳しい視覚的条件下で単一ストリームの顔のみのモデルを上回ることができるか？
• RQ4 視覚的・意味的埋め込み損失（Lemb）の統合は、感情のカテゴリーおよび次元的表現の両方におけるモデルの一般化能力を向上させるか？
• RQ5 Aff-Wild2ベンチマークにおいて、包括的でマルチストリームなモデルの性能は、トップパフォーマンスを示した顔のみのモデルと比べてどうか？

主な発見

• 顔、身体、文脈的視覚特徴の統合（視覚BCF）により、表情サブチャレンジの検証セットにおけるF1スコアが、顔のみの状態（0.453）から0.517に向上した。
• 最良の視覚ストリーム（BCF）に音声ストリームを追加することで、表情認識の総合スコアが0.575に、退屈度-覚醒度のスコアが0.484に向上した。
• 音声＋顔＋身体＋文脈の3ストリーム統合モデルが、表情サブチャレンジで最高の性能（総合スコア0.592）を達成し、退屈度-覚醒度サブチャレンジでも0.502のスコアを記録した。
• テストセットでは、表情サブチャレンジで総合スコア0.437を達成し、ベースラインと比較してCCC-Aが10%向上（0.616）したが、トップの提出には及ばなかった。
• 身体および文脈特徴の統合により、F1スコアが0.018（0.312 → 0.329）上昇し、正答率も0.029（0.593 → 0.611）上昇した。これは、顔の特徴が不十分な状況下でもこれらの特徴が価値を持つことを示している。
• 視覚的・意味的埋め込み損失（Lemb）をBCFストリームに追加したことで、F1スコアが0.009向上した。これは、視覚的および意味的表現の一致に有効であることを示している。