[論文レビュー] Cross-database non-frontal facial expression recognition based on transductive deep transfer learning

Keyu Yan, Wenming Zheng+3 more|arXiv (Cornell University)|Nov 30, 2018

Face and Expression Recognition参考文献 22被引用数 6

ひとこと要約

本論文は、VGGface16-Netを用いたトランスダクティブなディープ転移学習フレームワークを提案し、異なるデータベース間の非正面顔の感情認識を解決する。教師ありのラベルのないターゲットサンプルについて、同時に判別的特徴とラベル予測を学習する。本手法は、Multi-PIEで66.85%、BU-3DEFで66.05%の最先端性能を達成し、既存の転移学習手法を上回っている。

ABSTRACT

Cross-database non-frontal expression recognition is a very meaningful but rather difficult subject in the fields of computer vision and affect computing. In this paper, we proposed a novel transductive deep transfer learning architecture based on widely used VGGface16-Net for this problem. In this framework, the VGGface16-Net is used to jointly learn an common optimal nonlinear discriminative features from the non-frontal facial expression samples between the source and target databases and then we design a novel transductive transfer layer to deal with the cross-database non-frontal facial expression classification task. In order to validate the performance of the proposed transductive deep transfer learning networks, we present extensive crossdatabase experiments on two famous available facial expression databases, namely the BU-3DEF and the Multi-PIE database. The final experimental results show that our transductive deep transfer network outperforms the state-of-the-art cross-database facial expression recognition methods.

研究の動機と目的

• トレーニングデータとテストデータが異なるデータベースに由来し、分布のずれが生じる状況における、クロスデータベース非正面顔の感情認識の課題に対処する。
• 従来のFER手法がトレーニングセットとテストセットの間で一様なデータ分布を仮定しているという制限を克服する。
• 教師ありのラベルのないターゲットサンプルについて、特徴学習とラベル予測を同時に最適化するディープ転移学習フレームワークを開発する。
• 標準的なFERデータセットにあまり含まれない非正面顔の感情認識の性能を向上させる。
• 複雑で多視点の顔の感情認識タスクにおいて、深層特徴（VGG）が手作業特徴（SIFT、LBP）を顕著に上回ることを示す。

提案手法

• 事前学習済みのVGGface16-Netを、ソースドメインおよびターゲットドメインの非正面顔の感情認識データから非線形的で判別性の高い特徴を学習する共有特徴抽出器として適応する。
• 教師ありのソースサンプルとラベルのないターゲットサンプルの両方の損失関数を同時に最適化する、新しいトランスダクティブ転移層を設計する。
• 教師ありのソースデータにおける分類損失を最小化すると同時に、ラベルのないターゲットサンプルのラベルを予測・精緻化するための統合最適化戦略を用いる。
• ラベルのないターゲットサンプルを含め、ソースおよびターゲットの全データセットをトレーニング中に活用することで、ドメイン適応性と特徴の一般化能力を向上させる。
• 分類精度とターゲットデータにおけるラベル予測の信頼性をバランスさせる、統合損失関数を用いてモデルをエンドツーエンドで訓練する。
• 2つの公開データベース（BU-3DEF（ソースまたはターゲット）およびMulti-PIE（ターゲットまたはソース））に本フレームワークを適用し、クロスデータベース評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トランスダクティブなディープ転移学習フレームワークは、既存の最先端手法を上回るクロスデータベース非正面顔の感情認識を実現できるか？
• RQ2 異なる撮影条件と非正面ポーズを持つBU-3DEFとMulti-PIEデータベース間での転送において、本手法はどのように性能を示すか？
• RQ3 非正面表情認識において、深層特徴（VGGface16-Net）が従来の手作業特徴（SIFT、LBP）を顕著に上回るのか？
• RQ4 トレーニングプロセスにラベルのないターゲットサンプルを含めることで、モデルの一般化能力と認識正確性がどの程度向上するか？
• RQ5 なぜNE（ニュートラル）表情は、本フレームワークにおいて特に認識が難しいのか？

主な発見

• TDTLモデルは、Multi-PIEをターゲットデータベース、BU-3DEFをソースデータベースとして使用した場合、66.85%の認識正確性を達成し、比較されたすべての最先端手法を上回っている。
• BU-3DEFをターゲット、Multi-PIEをソースとした場合、66.05%の認識正確性を達成し、データベースの方向性にかかわらず高いロバストネスを示している。
• TDTL手法のF1スコアは、Multi-PIEをターゲットとした場合0.6547、BU-3DEFをターゲットとした場合0.5309に達し、すべての表情カテゴリで優れた性能を示している。
• VGGベースの特徴は、精度およびF1スコアの両面でSIFTおよびLBP特徴を顕著に上回っており、複雑な非正面顔のパターンを捉える深層特徴の優位性を示している。
• NE（ニュートラル）表情は、他の表情と分布的に類似しているため、特にBU-3DEFターゲット設定において認識が最も困難である。
• TDTLフレームワークは、ソースデータとラベルのないターゲットデータの両方を統合的に最適化することで、ドメイン適応性と認識のロバストネスが向上することを示している。