[論文レビュー] Dynamic Multi-Task Learning for Face Recognition with Facial Expression

Zuheng Ming, Junshi Xia+3 more|arXiv (Cornell University)|Nov 8, 2019

Face recognition and analysis参考文献 41被引用数 23

ひとこと要約

本稿では、顔認識と顔の感情認識のための動的マルチタスク学習フレームワークを提案する。このフレームワークは、学習中のタスク難易度に応じてタスク重みを自動的に調整するためのソフトマックス層を導入し、ハイパーパrameterの必要性を排除する。この手法により、両タスクの性能が向上し、CK+では顔認証精度が99.00%、顔の感情認識精度が99.50%に達する。静的および単純な動的ベースラインを上回る性能を示した。

ABSTRACT

Benefiting from the joint learning of the multiple tasks in the deep multi-task networks, many applications have shown the promising performance comparing to single-task learning. However, the performance of multi-task learning framework is highly dependant on the relative weights of the tasks. How to assign the weight of each task is a critical issue in the multi-task learning. Instead of tuning the weights manually which is exhausted and time-consuming, in this paper we propose an approach which can dynamically adapt the weights of the tasks according to the difficulty for training the task. Specifically, the proposed method does not introduce the hyperparameters and the simple structure allows the other multi-task deep learning networks can easily realize or reproduce this method. We demonstrate our approach for face recognition with facial expression and facial expression recognition from a single input image based on a deep multi-task learning Conventional Neural Networks (CNNs). Both the theoretical analysis and the experimental results demonstrate the effectiveness of the proposed dynamic multi-task learning method. This multi-task learning with dynamic weights also boosts of the performance on the different tasks comparing to the state-of-art methods with single-task learning.

研究の動機と目的

• マルチタスクディープラーニングにおけるタスク重みの手動チューニングという、時間のかかるかつ最適でない課題に対処すること。
• 関連するタスク間で共有する特徴を同時に学習することで、顔の表情を伴う顔認識の性能を向上させること。
• 固定または手動で設定されたタスク重みの限界を克服し、学習中にタスクの難易度に応じて適応的に変化しない手法の欠陥を解消すること。
• 追加のハイパーパrameterを導入しないことで、効率的かつ効果的なマルチタスク学習を可能にすること。
• 共有特徴とタスク固有特徴を用いた顔認識と顔の感情認識への適用を通じて、本手法の汎用性を実証すること。

提案手法

• 共有特徴層の最後にソフトマックス層を導入し、学習の難易度に応じてタスク重みを動的に生成する。
• ソフトマックス層の出力を各タスクの適応的重みとして使用し、ネットワークが難易度の高いタスクに重点を置けるようにする。
• 不確実性係数や解析的解法を必要とする手法とは異なり、ハイパーパrameterを避けるために、タスク重みをネットワークの活性化から直接導出する。
• 各タスクの重みを動的ソフトマックス出力に従って重み付けする統合損失関数を用いて、マルチタスクネットワークをエンドツーエンドで学習する。
• 畳み込みニューラルネットワーク（CNN）を含む既存のマルチタスクディープラーニングアーキテクチャに容易に統合可能な軽量な手法を確保する。
• 1枚の入力画像から、顔認識と顔の感情認識を同時に学習するためのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習におけるタスク重みを、学習中にどのように動的に調整することで性能を向上させられるか？
• RQ2 ハイパーパrameterフリーな手法が、静的または手動でチューニングされた重み戦略を上回る性能を発揮できるか？
• RQ3 動的重み付けは、固定または単純な動的アプローチと比較して、難易度の高いタスクにおける一般化性能と収束速度を向上させるか？
• RQ4 顔認識と顔の感情認識の共同学習が、両タスクの性能向上にどの程度寄与するか？
• RQ5 本手法は、表情のばらつきや画像品質にばらつきがある実世界のデータセットに対しても、効果的に適用可能か？

主な発見

• 提案手法の動的マルチタスク学習は、CK+データセットで99.00%の顔認証精度を達成し、静的マルチタスク学習（98.50%）および微調整済み単一タスクモデル（98.50%）を上回った。
• 顔の感情認識においては、CK+で99.50%の精度に達し、次善の手法（静的MTLで99.11%）を上回った。
• OuluCASIAデータセットでは、顔の感情認識で89.60%の精度を達成し、最良のベースラインと同等の性能を示したが、より優れたロバスト性と適応性を示した。
• 顔認識に顔の表情が含まれる状況では、単一タスクモデルがLFWでは約99%の精度を示すが、CK+では約92%に低下するのに対し、動的MTLを用いることで99.00%まで回復した。
• 動的重み付け機構により、難易度の高いタスクに焦点を当てられるようになり、単純な動的および静的ベースラインと比較して優れた性能が裏付けられた。
• 本手法は、異なるデータセットおよびタスクにおいても有効であり、追加のハイパーパrameterを必要とせず、顔認識および感情認識の両方で一貫した向上を示した。