[論文レビュー] Using Self-Supervised Auxiliary Tasks to Improve Fine-Grained Facial Representation

Mahdi Pourmirzaei, Gholam Ali Montazer+1 more|arXiv (Cornell University)|May 13, 2021

Face recognition and analysis被引用数 15

ひとこと要約

本稿では、自己教師あり補助タスク（画像パズルと知覚的補完）を教師あり微調整に統合するハイブリッドマルチタスク学習（HMTL）を提案する。AffectNetにおいて、事前学習データを一切使用せずに、8クラス感情認識で最先端の性能を達成し、従来の自己教師あり事前学習を上回り、低データ環境下でも顕著な向上を示した。

ABSTRACT

Facial emotion recognition (FER) is a fine-grained problem where the value of transfer learning is often assumed. We first quantify this assumption and show that, on AffectNet, training from random initialization with sufficiently strong augmentation consistently matches or surpasses fine-tuning from ImageNet. Motivated by this result, we propose Hybrid Multi-Task Learning (HMTL) for FER in the wild. HMTL augments supervised learning (SL) with self-supervised learning (SSL) objectives during training, while keeping the inference-time model unchanged. We instantiate HMTL with two tailored pretext tasks, puzzling and inpainting with a perceptual loss, that encourage part-aware and expression-relevant features. On AffectNet, both HMTL variants achieve state-of-the-art accuracy in the eight-emotion setting without any additional pretraining data, and they provide larger gains under low-data regimes. Compared with conventional SSL pretraining, HMTL yields stronger downstream performance. Beyond FER, the same strategy improves fine-grained facial analysis tasks, including head pose estimation and gender recognition. These results suggest that aligned SSL auxiliaries are an effective and simple way to strengthen supervised fine-grained facial representation without adding extra computation cost during inference time.

研究の動機と目的

• 実世界の設定において、細分化された顔の表現学習に自己教師あり事前学習が必要かどうかを調査すること。
• 顔の感情認識におけるラベル付きデータの制限を克服するために、追加のデータや推論コストを増やさずに特徴学習を改善すること。
• 顔の細分化分析に特化した自己教師あり目的を統合した統一された学習フレームワークを構築すること。
• 整列された自己教師ありタスクが、感情認識を越えて複数の細分化された顔の分析タスクにおいて性能向上をもたらすかどうかを評価すること。

提案手法

• 顔の感情認識の教師あり学習を、2つの自己教師あり事前学習タスクと同時に最適化するハイブリッドマルチタスク学習（HMTL）を提案する。
• 入力画像をパッチに分割し、パッチの順序を予測するタスク（パズルタスク）を導入することで、局所的特徴学習を促進する。
• VGGベースの知覚的損失を用いて欠損領域を再構成する知覚的補完タスクを実装し、感情に関連する特徴学習を促進する。
• 推論時におけるモデルの構造を標準的な教師あり学習と同一に保つため、デプロイ時における追加計算コストが生じない。
• 感情分類のための交差エントロピー損失と2つの補助タスクの損失を組み合わせたマルチタスク損失を用い、トレーニング中に同時に最適化する。
• 一般化性能を向上させるために、特に低データ環境下で有効となる強力なデータ拡張をトレーニング段階で適用する。

実験結果

リサーチクエスチョン

• RQ1 AffectNetにおいて、ImageNet事前学習からの微調整と比較して、強力なデータ拡張を用いたランダム初期化からの微調整が優れているか？
• RQ2 事前学習データを一切使用せずに、自己教師あり補助タスクが顔の感情認識の下流性能を向上させられるか？
• RQ3 提案された事前学習タスク（パズルと知覚的補完）が、局所的特徴学習と感情関連特徴学習にどのように寄与しているか？
• RQ4 HMTLフレームワークは、感情認識を越えて他の細分化された顔の分析タスクにも一般化可能か？
• RQ5 データ効率性と下流性能の観点から、HMTLは従来の自己教師あり事前学習と比較して優れているか？

主な発見

• AffectNetにおいて、両方の補助タスクを用いたHMTLは、事前学習データを一切使用せず、8クラス感情認識タスクで最先端の精度を達成した。
• HMTLは従来の自己教師あり事前学習を上回り、整列された補助タスクが汎用的事前学習よりも効果的であることを示した。
• HMTLによる性能向上は特に低データ環境下で顕著であり、データ効率性の向上が示された。
• 同じHMTL戦略は、頭部ポーズ推定や性別認識を含む他の細分化された顔の分析タスクにおいても性能向上をもたらした。
• ランダム初期化からの強力なデータ拡張による学習が、ImageNetからの微調整と同等またはそれを上回る性能を発揮した。これは、ImageNet事前学習が必須であるという仮定に疑問を呈するものである。
• 知覚的補完タスクの貢献度がパズルタスクよりも顕著で、空間的順序の予測よりも感情に関連する再構成がより有益であることが示唆された。