[論文レビュー] Prior Aided Streaming Network for Multi-task Affective Recognitionat the 2nd ABAW2 Competition

Wei Zhang, Zunhu Guo+4 more|arXiv (Cornell University)|Jul 8, 2021

Emotion and Mood Recognition参考文献 27被引用数 24

ひとこと要約

本論文は、ABAW2 競争におけるマルチタスク感情認識のための事前知識を活用したストリーミングネットワークを提案する。行動単位（AU）、カテゴリー感情（CE）、価値・覚醒（VA）の間の階層的関係を、AU → CE → VA のストリーミング順序で処理することで活用する。顔の表情を不変とする埋め込み表現を事前知識として統合し、Aff-Wild2 データセットで最先端の性能を達成した。F1スコアはAUで0.742、CEで0.790、CCCはVAで0.495を記録した。

ABSTRACT

Automatic affective recognition has been an important research topic in human computer interaction (HCI) area. With recent development of deep learning techniques and large scale in-the-wild annotated datasets, the facial emotion analysis is now aimed at challenges in the real world settings. In this paper, we introduce our submission to the 2nd Affective Behavior Analysis in-the-wild (ABAW2) Competition. In dealing with different emotion representations, including Categorical Emotions (CE), Action Units (AU), and Valence Arousal (VA), we propose a multi-task streaming network by a heuristic that the three representations are intrinsically associated with each other. Besides, we leverage an advanced facial expression embedding as prior knowledge, which is capable of capturing identity-invariant expression features while preserving the expression similarities, to aid the down-streaming recognition tasks. The extensive quantitative evaluations as well as ablation studies on the Aff-Wild2 dataset prove the effectiveness of our proposed prior aided streaming network approach.

研究の動機と目的

• 多様な感情表現を有するリアルワールド、イン・ザ・ワイルドな環境におけるマルチタスク感情認識の課題に対処すること。
• CE、AU、VAを独立したタスクとして扱う限界を克服し、それらの内在的階層的関係を活用すること。
• アイデンティティに依存しない顔の表情埋め込みを事前知識として統合することで、モデルの汎化性能と性能を向上させること。
• 段階的に感情表現を処理するストリーミングネットワークアーキテクチャを設計し、特徴の転送とタスクの一貫性を向上させること。
• マルチタスク感情認識のためのAff-Wild2ベンチマークで最先端の性能を達成すること。

提案手法

• 意味的階層に基づき、まずAU検出、次にCE分類、最後にVA回帰の順序で顔の表情を段階的に処理するストリーミングネットワークを設計する。
• アイデンティティに依存しない微細な表情特徴を保持する表情類似度を保つために、三重項ベースの顔の表情埋め込みモデルをバックボーンとして使用する。
• 中間特徴（例：AU特徴とCE特徴）を連結して統合表現を形成し、上位タスク向けにクロストークン特徴の最適化を可能にする。
• タスク固有の損失関数を適用：CEにはソフトマックス損失、VA回帰には一致相関係数（CCC）を用い、欠損ラベルを扱うために重み付き総損失を導入する。
• 一般化を向上させるために、外部データセット（BP4D、BP4D+、DFEW、AffectNet）を用いたデータオーグメンテーションを実施し、一貫性のあるラベルマッピングを保つ。
• 既知のAU-CEマッピングに基づいて、欠損したCEラベルのための仮ラベルを生成し、データの不均衡を軽減し、過学習を抑える。

実験結果

リサーチクエスチョン

• RQ1 異なる感情表現（AU、CE、VA）間の階層的関係をどのように活用することで、マルチタスク感情認識の性能を向上させられるか？
• RQ2 事前学習済みのアイデンティティに依存しない顔の表情埋め込みを事前知識として統合することで、認識性能がどの程度向上するか？
• RQ3 段階的かつ階層的な順序でタスクを処理するストリーミングネットワークアーキテクチャは、並列ヘッドを用いた標準的なマルチタスク学習を上回る性能を発揮するか？
• RQ4 AU-CE相関に基づく仮ラベル生成は、不完全または不均衡なデータセットにおいてモデルの頑健性を効果的に向上させられるか？
• RQ5 各アーキテクチャ的要素（事前モデル、ストリーミング設計）が、Aff-Wild2ベンチマークにおける最終性能にどの程度寄与しているか？

主な発見

• 提案された事前知識を活用したストリーミングネットワークは、公式検証セットでAU検出のF1スコア0.742、CE分類で0.790、VA回帰でCCC 0.495を達成した。
• アブレーションスタディの結果、事前モデルを削除すると性能はAUで0.464、CEで0.718、VAで0.422に低下し、その汎化への重要性が確認された。
• ストリーミング構造を削除した場合、AU性能は0.677、CEも0.677に低下し、段階的処理が特徴の一貫性を向上させることを示した。
• ベースライン[12]をすべてのトラックで上回り、AU F1スコアで20.6%、CE TAccで18.6%の相対的改善を達成した。
• 5分割交差検証の結果、一貫した性能向上が確認され、最高のfoldではAUで0.772、CEで0.783、VAで0.621のCCCを記録した。
• 欠損したCEラベルのための仮ラベル生成により、データの不均衡が軽減され、特にリソースが限られた状況での一般化性能の向上に寄与した。