[論文レビュー] Multi-task, multi-label and multi-domain learning with residual convolutional networks for emotion recognition

Gérard Pons, David Masip Rodó|arXiv (Cornell University)|Feb 19, 2018

Emotion and Mood Recognition参考文献 34被引用数 41

ひとこと要約

本論文は、データセットごとに選択的シグモイド交差エントロピー損失を用いて単一のCNNを複数タスク、ラベル、およびデータセットに跨って訓練する selective joint multi-task learning (SJMT) フレームワークを提示し、感情認識とAU認識を単一タスクおよび古典的マルチタスクのベースラインより改善します。

ABSTRACT

Automated emotion recognition in the wild from facial images remains a challenging problem. Although recent advances in Deep Learning have supposed a significant breakthrough in this topic, strong changes in pose, orientation and point of view severely harm current approaches. In addition, the acquisition of labeled datasets is costly, and current state-of-the-art deep learning algorithms cannot model all the aforementioned difficulties. In this paper, we propose to apply a multi-task learning loss function to share a common feature representation with other related tasks. Particularly we show that emotion recognition benefits from jointly learning a model with a detector of facial Action Units (collective muscle movements). The proposed loss function addresses the problem of learning multiple tasks with heterogeneously labeled data, improving previous multi-task approaches. We validate the proposal using two datasets acquired in non controlled environments, and an application to predict compound facial emotion expressions.

研究の動機と目的

• 野外環境での感情認識とデータ不足の問題を動機づける。
• 感情とAU検出のためのマルチタスク・マルチラベル・マルチドメイン学習フレームワークを導入する。
• 部分的にラベル付けされたデータを扱うためのデータセットごとに選択的シグモイド交差エントロピー損失を提案する。
• 残差ネットワークを用いた SJMT が複数のデータセットに跨って単一タスクおよび従来のマルチタスクベースラインを上回ることを示す。

提案手法

• タスク間で共通の特徴表現を共有するために、ResNet ベースのCNNアーキテクチャを採用する。
• データセット間で部分的にラベル付けされたデータを扱うデータセットごとに選択的シグモイド交差エントロピー損失を導入する。
• 非同型ラベル空間を用いて、感情認識（離散7クラス）とAU検出（マルチラベル）を共同訓練する。
• 別々の出力ヘッドを持つ従来のマルチタスク学習や単一タスクCNNと比較する。
• SFEW（感情）と EmotioNet（AUs）、さらにハイパーパラメータ調整のための CK+ 部分集合で評価する。

実験結果

リサーチクエスチョン

• RQ1 データセットごとに選択的な結合損失は、感情認識とAU認識のためのマルチタスク・マルチラベル・マルチドメイン学習を改善しますか？
• RQ2 SJMT は野外感情データセットで従来のマルチタスク学習や単一タスクネットワークを上回りますか？
• RQ3 AUラベルを欠く画像に対して、結合学習がどの程度信頼できるAU推論を可能にしますか？
• RQ4 複合感情認識タスクでの適用性はどうですか？

主な発見

Method	Network	SFEW (Emotion)	EmotioNet (AUs)
Multi-task	ResNet-32	39.4%	93.7%
Multi-task	ResNet-110	40.3%	93.6%
SJMT	ResNet-32	40.6%	93.5%
SJMT	ResNet-110	45.9%	93.9%

• ResNet-110 を用いた SJMT が評価データセット全体で最も良い感情およびAU認識を達成した（SFEW の感情 45.9%、EmotioNet の AU 93.9%）。
• SJMT は一般に古典的なマルチタスク手法および単一タスクネットワークを上回り、ResNet-110 が最も強い結果を示した（感情と AU）。
• この手法は、感情ラベル付き画像からの一貫した AU 推論を可能にし、予測された感情に整合する AU 予測によって示される（感情ごとに平均AUスコアを表示）。
• 複合感情認識は結合学習の恩恵を受け、SJMT はいくつかの複合クラスで単一タスク法に比べ大幅な改善を示した（例： angrily disgusted、 fearfully angry、 happily disgusted）。
• 実験全体を通じて、提案された損失関数はデータセットを跨ぐ部分的にラベル付けされたデータを効果的に扱い、ラベルなしタスクにペナルティを課すことなく共有学習を可能にする。