[論文レビュー] Feature Pyramid Network for Multi-task Affective Analysis

Ruian He, Zhen Xing+2 more|arXiv (Cornell University)|Jul 8, 2021

Emotion and Mood Recognition参考文献 42被引用数 8

ひとこと要約

本論文は、階層的特徴と教師-生徒学習戦略を活用して、Aff-Wild2データセットにおける欠損ラベルを扱うために、特徴ピラミッドネットワーク（FPN）に基づくマルチタスクモデルを提案する。このモデルは、感情の強度（Valence-Arousal）、顔の表情、アクションユニットの同時予測を実現し、最先端の性能を達成しており、主な指標においてベースラインモデルを2%から10%上回る。

ABSTRACT

Affective Analysis is not a single task, and the valence-arousal value, expression class, and action unit can be predicted at the same time. Previous researches did not pay enough attention to the entanglement and hierarchical relation of these three facial attributes. We propose a novel model named feature pyramid networks for multi-task affect analysis. The hierarchical features are extracted to predict three labels and we apply a teacher-student training strategy to learn from pretrained single-task models. Extensive experiment results demonstrate the proposed model outperforms other models. This is a submission to The 2nd Workshop and Competition on Affective Behavior Analysis in the wild (ABAW). The code and model are available for research purposes at https://github.com/ryanhe312/ABAW2-FPNMAA.

研究の動機と目的

• 感情の強度（Valence-Arousal）、顔の表情、アクションユニットを同時に予測することで、マルチタスク感情分析の課題に取り組む。
• 特徴ピラミッドネットワークを用いて、顔の感情的特徴の階層的かつ絡み合った性質を活用する。
• ラベルが欠損するAff-Wild2データセットにおけるデータスパarsityを、教師-生徒学習戦略により克服する。
• 現実世界の制約のない顔データに対して、モデルの汎化性能と性能を向上させる。

提案手法

• 顔画像からマルチスケールの階層的特徴を抽出するために、特徴ピラミッドネットワーク（FPN）バックボーンを用いる。
• Valence-Arousal、表情、アクションユニット予測の3つのタスク固有の分類ヘッドを採用し、複数のFPN層からの特徴を統合した出力に接続する。
• ラベルが不完全なサンプルに対して、事前に学習された単一タスクモデルがマルチタスクモデルをガイドする教師-生徒蒸留戦略を適用する。
• モデルの多様性とロバスト性を向上させるために、Aff-Wild2データセットにExpWとAffectNetを追加してデータ拡張を行う。
• タスク固有の指標（CCC、F1、TAcc）を同時に最適化するため、重み付き損失の組み合わせをマルチタスク学習に用いる。
• 分類ヘッドにおける絶対的な重みを可視化することで、層レベルの寄与度を分析する。

実験結果

リサーチクエスチョン

• RQ1 共有の特徴ピラミッドバックボーンは、Valence-Arousal、顔の表情、アクションユニットの間の階層的かつ絡み合った関係を効果的にモデル化できるか？
• RQ2 異なるタスクでラベルが欠損している場合、マルチタスクモデルは効果的に学習できるか？
• RQ3 事前に学習された単一タスクモデルからの知識蒸留は、マルチタスク感情分析の性能を向上させるか？
• RQ4 外部データセット（ExpW、AffectNet）からのデータ拡張は、Aff-Wild2ベンチマークにおけるモデルの汎化性能をどの程度向上させるか？

主な発見

• 提案されたマルチタスクFPNモデルは、公式ベースラインおよびMobileNetやResNetなどの他のモデルと比較して、主な評価指標で2%から10%の優位性を示した。
• ExpWとAffectNetを用いたデータ拡張により、Valence-Arousalおよび表情予測スコアが約10%向上した。
• 教師-生徒学習戦略は、特にラベルが欠損しているサンプルにおいて顕著に性能を向上させ、効果的なマルチタスク学習を可能にした。
• 特徴の可視化から、タスク固有の特徴の好みが明らかになった：Valence-Arousalは初期のFPN層（例：層1）に依存し、アクションユニット予測はより深い層（層3〜4）を活用していた。
• モデルはAff-Wild2検証セットで最先端の結果を達成し、3つの感情的特徴の同時予測において優れた性能を示した。