[論文レビュー] Emotion Recognition with Incomplete Labels Using Modified Multi-task Learning Technique

Phan Tran Dac Thinh, Hoàng Mạnh Hùng+3 more|arXiv (Cornell University)|Jul 8, 2021

Emotion and Mood Recognition被引用数 11

ひとこと要約

本論文は、AffWild2データセットにおける不完全なラベルを考慮し、ResNet50を用いたVGGFace2事前学習を組み合わせた修正されたマルチタスク学習アプローチを提案する。7つの基本的感情と12個の顔面行動単位（AU）の両方を同時に学習する際、クラス不均衡を解消するためFocal Lossを適用することで、感情分類ではF1加重精度0.757、行動単位検出では0.731を達成し、単一タスクベースラインを著しく上回る結果を得た。

ABSTRACT

The task of predicting affective information in the wild such as seven basic emotions or action units from human faces has gradually become more interesting due to the accessibility and availability of massive annotated datasets. In this study, we propose a method that utilizes the association between seven basic emotions and twelve action units from the AffWild2 dataset. The method based on the architecture of ResNet50 involves the multi-task learning technique for the incomplete labels of the two tasks. By combining the knowledge for two correlated tasks, both performances are improved by a large margin compared to those with the model employing only one kind of label.

研究の動機と目的

• AffWild2のような感情認識データセットにおける不完全で不均衡なラベルの課題に対処すること。
• マルチタスク学習による共有表現の活用により、顔の感情分類と行動単位検出の両性能を向上させること。
• 7つの基本的感情データセットにおけるクラス不均衡をFocal Lossを用いて緩和すること。
• 現実的で制約のない顔データに対する共有バックボーンアーキテクチャとマルチタスク学習の有効性を評価すること。

提案手法

• ImageNet事前学習重みを用いたResNet50をバックボーンとして採用し、顔の感情認識への一般化を高めるためにVGGFace2事前学習で微調整する。
• 3つの異なるデータサブセット（感情ラベルのみ、AUラベルのみ、両方のラベルあり）を処理する修正マルチタスク学習スキームを適用する。
• 7クラスの感情分類タスクにFocal Lossを適用し、長尾分布に起因するクラス不均衡を是正し、少数クラスの性能を向上させる。
• 12クラスのマルチラベル行動単位検出タスクにはバイナリクロスエントロピー損失を用いる。
• 3段階のトレーニングループを実装：第1段階で感情ラベルのみのデータで更新、第2段階でAUラベルのみのデータで更新、第3段階で両方ラベル付きデータで更新し、1つの最適化サイクル内で実行する。
• データオーグメンテーションを実施せず、入力画像を正規化（112×112、RGB）し、音声データは不一致のための可用性と品質の問題から除外する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが不完全な状況下でも、共有表現を用いたマルチタスク学習が、感情分類と行動単位検出の両性能を向上させることができるか？
• RQ2 7つの基本的感情データセットにおけるクラス不均衡の影響を軽減するために、Focal Lossはどの程度有効であるか？
• RQ3 ImageNet や EmotionNet ではなく、VGGFace2 事前学習を用いることで、AffWild2 データセットにおけるモデルの一般化性能が向上するか？
• RQ4 共有バックボーンアーキテクチャが、両方の感情認識タスクにおける特徴学習をどの程度向上させるか？
• RQ5 部分的にラベルが付与されたデータを別々に処理する本手法のトレーニングスキームは、標準的なマルチタスク学習に比べ、収束性と性能の両面で優れているか？

主な発見

• 提案手法は7つの基本的感情分類タスクでF1加重精度0.757を達成し、ベースラインの0.366および単一タスクのResNet50（EmotionNet）ベースラインの0.462を著しく上回った。
• Focal Lossとマルチタスク学習を組み合わせたモデルはF1加重精度0.757を達成し、共有バックボーンのみのアプローチ（0.713）やVGGFace2事前学習ベースライン（0.556）を上回った。
• 顔面行動単位検出では、マルチタスク学習アプローチがF1加重精度0.731を達成し、単一タスクベースライン（0.31）および共有バックボーンベースライン（0.655）を上回った。
• VGGFace2事前学習の導入により、ImageNet や EmotionNet 事前学習に比べ、両タスクで顕著な性能向上が見られた。
• 感情ラベルのみ、AUラベルのみ、両方ラベル付きデータを別々に処理するトレーニングスキームにより、モデルの収束性と性能が向上し、特に不完全ラベルの処理において顕著であった。
• わずか10エポックで最適な性能が達成されたことから、提案されたトレーニング戦略と学習率スケジューリングが、効果的な学習を可能にした。