[論文レビュー] DeepCoder: Semi-parametric Variational Autoencoders for Facial Action Unit Intensity Estimation.

Dieu Linh Tran, Robert Walecki+4 more|arXiv (Cornell University)|Apr 7, 2017

Emotion and Mood Recognition被引用数 6

ひとこと要約

DeepCoderは、畳み込み型パラメトリックVAEと順序付きガウス過程（GP）を統合することで、階層的顔認識表現と顔の動き単位（AU）強度を同時に学習する半パラメトリックな変分オートエンコーダーを提案する。深層特徴学習と非パラメトリックな不確実性モデリングを活用することで、ベンチマーク上でのAU強度推定データセットにおいて、最先端の手法を顕著に上回る性能を達成する。

ABSTRACT

Variational (deep) parametric auto-encoders (VAE) have shown a great potential for unsupervised extraction of latent representations from large amounts of data. Human face exhibits an inherent hierarchy in facial representations (encoded in facial action units (AUs) and their intensity). This makes VAE a sophisticated method for learning facial features for AU intensity estimation. Yet, most existing methods apply classifiers learned separately from the encoded features. On the other hand, non-parametric (probabilistic) approaches, such as Gaussian Processes (GPs), typically outperform their parametric counterparts, but cannot deal easily with large amounts of data. In this paper, we propose a novel VAE semi-parametric modeling framework, named DeepCoder, which combines the modeling power of parametric (convolutional) and nonparametric (ordinal GPs) VAEs, for joint learning of (1) latent representations at multiple levels in a task hierarchy, and (2) classification of multiple ordinal outputs (AUs intensities). We show on benchmark datasets for AU intensity estimation that the proposed DeepCoder significantly outperforms state-of-the-art approaches, and related parametric VAEs, deep learning and parametric models.

研究の動機と目的

• 従来のVAEが符号化された特徴量に対して分類器を別々に学習するのではなく、表現学習と強度予測を統合的に学習するという限界を是正すること。
• パラメトリックな深層モデルのスケーラビリティと、ガウス過程（GP）のような非パラメトリック手法の不確実性評価能力を統合すること。
• 顔の動き単位（AUs）の階層的構造を、顔の動き単位に一致する複数レベルの潜在表現によってモデル化すること。
• 確率的で半パラメトリックなフレームワークを用いて、順序付きAU強度出力をエンドツーエンドで学習可能にすること。不確実性と順序関係を捉える。
• 統合的生成モデル内で深層特徴抽出と非パラメトリック回帰を組み合わせることで、AU強度推定の性能を向上させること。

提案手法

• 畳み込み型エンコーダ・デコーダアーキテクチャ（パラメトリックVAE）と非パラメトリックな順序付きガウス過程（GP）を統合し、潜在表現に対する回帰を実行する。
• 異なる抽象度の顔特徴をエンコードする階層的潜在空間を採用し、AUsの階層と一致させる。
• 順序付きGPを用いてAU強度出力をモデル化し、強度レベル（例：0から5）の自然な順序関係を保持する。
• VAEの再構成損失とGPの予測損失を最適化する統合的トレーニング目的関数を採用し、エンドツーエンド学習を可能にする。
• GPの非パラメトリック性を活かして予測の不確実性をモデリングしつつ、構造化推論により大規模データセットへのスケーラビリティを維持する。
• VAEがグローバル特徴を学習し、GPがローカルかつインスタンス固有の強度予測をモデル化する半パラメトリックフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのパラメトリックモデルと比較して、半パラメトリックなVAEフレームワークが、階層的顔認識表現と順序付きAU強度をより効果的に同時に学習できるか。
• RQ2 パラメトリックな深層特徴学習と非パラメトリックなGP回帰を統合することで、AU強度推定性能がどのように向上するか。
• RQ3 DeepCoderにおける階層的潜在空間が、顔の動き単位の内在的構造とその強度をどの程度正しく捉えているか。
• RQ4 順序付きGPの統合により、標準的なパラメトリック分類器と比較して、不確実性推定と予測精度が向上するか。
• RQ5 DeepCoderは、多様なベンチマークデータセットにおけるAU強度推定に、どの程度スケーラブルかつ一般化可能か。

主な発見

• DeepCoderは、AU強度推定のベンチマークデータセットにおいて、最先端の性能を達成し、既存のパラメトリックVAEや深層学習モデルを上回る。
• 順序付きガウス過程の統合により、標準的な分類ヘッドよりも顔の動き単位の強度の順序性をより効果的にモデル化することで、予測精度が顕著に向上した。
• VAEが学習する階層的潜在空間は、顔の動き単位と一致する意味のある顔認識表現の階層を捉えている。
• 半パラメトリックな設計により、強度予測の不確実性評価が向上した一方で、大規模データセットへのスケーラビリティを維持している。
• 完全にパラメトリックなVAEや非パラメトリックモデル単体よりも優れた性能を示しており、深層特徴学習と非パラメトリック回帰の統合の利点を実証した。
• 多様な顔の表情やデータセットに対して、強力な一般化性能を示しており、実世界のAU強度推定への有効性を裏付けた。