[論文レビュー] A Multi-task Mean Teacher for Semi-supervised Facial Affective Behavior Analysis

Lingfeng Wang, Shisen Wang+2 more|arXiv (Cornell University)|Jul 9, 2021

Emotion and Mood Recognition参考文献 16被引用数 4

ひとこと要約

本論文は、3つの感情的行動表現（価値、覚醒、アクションユニット）を共同で学習するマルチタスク平均テイチャー枠組みを提案し、学生・教師の知識蒸留構造を用いて未ラベルデータを活用することで、半教師あり顔面感情的行動分析を実現する。この手法は最先端の性能を達成し、ABAW3コンペティションの2つのトラックで4位、1つのトラックで6位を記録し、ラベルが不完全なデータセットに対しても頑健であることが示された。

ABSTRACT

Affective Behavior Analysis is an important part in human-computer interaction. Existing multi-task affective behavior recognition methods suffer from the problem of incomplete labeled datasets. To tackle this problem, this paper presents a semi-supervised model with a mean teacher framework to leverage additional unlabeled data. To be specific, a multi-task model is proposed to learn three different kinds of facial affective representations simultaneously. After that, the proposed model is assigned to be student and teacher networks. When training with unlabeled data, the teacher network is employed to predict pseudo labels for student network training, which allows it to learn from unlabeled data. Experimental results showed that our proposed method achieved much better performance than baseline model and ranked 4th in both competition track 1 and track 2, and 6th in track 3, which verifies that the proposed network can effectively learn from incomplete datasets.

研究の動機と目的

• 顔面感情的行動分析におけるラベル付きデータの不足という課題に対処すること。
• 豊富な未ラベル付き顔面データを活用することで、モデルの一般化性能を向上させること。
• 価値、覚醒、アクションユニットを同時に予測するマルチタスク学習フレームワークを開発すること。
• 平均テイチャー訓練パラダイムを統合して、訓練の安定性と頑健性を向上させること。
• ベンチマーク感情的行動データセットにおいて、半教師あり設定で高い性能を達成すること。

提案手法

• 3つの感情的表現（価値、覚醒、アクションユニット）を同時に予測できるマルチタスク深層ニューラルネットワークを設計する。
• 学生・教師の知識蒸留フレームワークを採用し、教師ネットワークが未ラベルデータの疑似ラベルを生成する。
• 教師ネットワークは、学生の重みの指数的移動平均として構築され、訓練中に安定した予測を保証する。
• 訓練中、学生ネットワークはラベル付きデータと疑似ラベル付き未ラベルデータの両方を用いて最適化される。
• 損失関数は、ラベル付きデータにおける教師付きクロスエントロピー損失と、未ラベル付きデータにおける一貫性正則化損失を組み合わせる。
• このフレームワークにより、教師から学生への効果的な知識移転が可能となり、限られたアノテーションでも表現学習が向上する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、顔面感情的行動分析の表現学習を改善できるか？
• RQ2 半教師あり設定において、未ラベル付き顔面データはどの程度効果的に活用できるか？
• RQ3 平均テイチャーを介した知識蒸留は、ラベルが限られたデータにおいて性能を向上させるか？
• RQ4 価値、覚醒、アクションユニットの共同予測は、モデルの一般化性能を向上させるか？
• RQ5 提案手法は、ベンチマークデータセットにおいて最先端の手法と比較してどのように差をつけるか？

主な発見

• 提案手法は、ABAW3コンペティションのトラック1およびトラック2で4位を達成した。
• トラック3では6位を記録し、多様な評価環境においても強い一般化性能を示した。
• 特に低監視環境下ではベースライン手法を顕著に上回った。
• 教師ネットワークからの疑似ラベルの活用が、未ラベルデータの性能向上に寄与し、平均テイチャー戦略の有効性を裏付けた。
• マルチタスク学習の構成が特徴表現学習を強化し、すべての感情的行動予測タスクで性能向上をもたらした。