[論文レビュー] Inferring Dynamic Representations of Facial Actions from a Still Image

Siyang Song, Enrique Sánchez+3 more|arXiv (Cornell University)|Apr 4, 2019

Face recognition and analysis参考文献 56被引用数 4

ひとこと要約

本稿では、静止画から動的表現（DR）を推定することで、短時間の時間的ダイナミクスをモデル化する、画像間変換フレームワークを提案する。この手法により、動画入力が不要な状況でも、行動単位（AU）強度推定および次元的感情推定で最先端の性能を達成できる。本手法は、隣接フレームを時間的近接性に基づいて順序付けられるように学習する自己教師付きランク損失を用い、中央画像の周囲の双方向的運動フローを捉える。

ABSTRACT

Facial actions are spatio-temporal signals by nature, and therefore their modeling is crucially dependent on the availability of temporal information. In this paper, we focus on inferring such temporal dynamics of facial actions when no explicit temporal information is available, i.e. from still images. We present a novel approach to capture multiple scales of such temporal dynamics, with an application to facial Action Unit (AU) intensity estimation and dimensional affect estimation. In particular, 1) we propose a framework that infers a dynamic representation (DR) from a still image, which captures the bi-directional flow of time within a short time-window centered at the input image; 2) we show that we can train our method without the need of explicitly generating target representations, allowing the network to represent dynamics more broadly; and 3) we propose to apply a multiple temporal scale approach that infers DRs for different window lengths (MDR) from a still image. We empirically validate the value of our approach on the task of frame ranking, and show how our proposed MDR attains state of the art results on BP4D for AU intensity estimation and on SEMAINE for dimensional affect estimation, using only still images at test time.

研究の動機と目的

• 動画や時間的データが存在しない状況で、静止画から顔の行動の時間的ダイナミクスをモデル化すること。
• 動的表現学習に事前に定義されたターゲット表現を必要としない自己教師付き学習アプローチを開発すること。
• 単一の画像から推定された動的表現を用いて、顔の行動単位（AU）強度推定および次元的感情推定を向上させること。
• 多スケール動的表現（MDR）が、短時間の運動パターンを捉えるために効果的であることを検証すること。

提案手法

• 単一の静止画から動的表現（DR）を生成する画像間変換ネットワークを提案。DRは中央フレームの周囲の運動を要約する3チャンネルの空間カーネルとして設計される。
• 隣接フレームを中央画像からの距離に基づいて時間的順序に並べ替えるように学習するランク損失関数を採用。これにより、双方向の時間的フローのモデル化が可能になる。
• 複数の時間窓長に対してDRを推定する多スケール動的表現（MDR）アプローチを導入。これにより、異なる時間スケールでのダイナミクスを捉えることができる。
• 自己教師付き学習フレームワークを採用。ターゲット表現を事前に定義せず、フレームの順序付けを学習することで、未観測画像への一般化性能が向上する。
• 元の画像と推定されたDRを組み合わせることで特徴抽出を強化。外見的特徴と動的特徴が補完的であることを示している。
• DRをCNNベースのネットワークへの入力として用い、AU強度推定および感情推定に応用。単一画像ベースラインに比べて性能が向上している。

実験結果

リサーチクエスチョン

• RQ1 単一の静止画から顔の行動ダイナミクスを効果的に推定可能な動的表現を推定できるか？
• RQ2 ランク損失関数を用いた自己教師付き学習は、事前に定義されたターゲット表現に依存する手法よりも優れた一般化性能を示すか？
• RQ3 多スケール動的表現（MDR）は、静止画のみを用いてもAU強度推定および次元的感情推定の性能を向上させられるか？
• RQ4 推定されたDRは、未観測の隣接フレームを時間的順序に正しく並べ替えられるか？
• RQ5 外見特徴のみに比べて、動的表現は静止画ベースの顔の行動分析にどの程度向上効果をもたらすか？

主な発見

• 提案されたMDRアプローチは、BP4Dデータセットにおいて、行動単位強度推定で最先端の性能を達成。平均ICCは0.72であり、動画入力を使用する先行手法を上回っている。
• SEMAINEデータセットでは、MDRベースのアプローチが、覚醒度（arousal）に対してピアソン積率相関係数（PCC）0.335、価値度（valence）に対して0.316を達成。静止画のみを用いた比較手法すべてを上回っている。
• 事前に定義されたターゲット表現を用いた学習と比較して、自己教師付きランク損失による学習は、未観測画像に対する性能が向上しており、より優れた一般化性能を示している。
• 元の画像とMDR表現を組み合わせることで、単独で画像またはDRを使用する場合よりも優れた結果が得られ、外見的特徴と動的特徴が補完的であることを確認した。
• 推定されたDRは、隣接フレームを時間的順序に正しく並べ替えることができ、短時間の運動ダイナミクスを効果的に捉えていることが検証された。
• SDR（単一動的表現）アプローチは単一画像の性能と同等であるが、MDRは顕著に性能を向上させ、多スケール時間的モデリングの価値を示している。