[論文レビュー] A Recurrent Encoder-Decoder Network for Sequential Face Alignment

Xi Peng, Rogério Feris+2 more|arXiv (Cornell University)|Aug 19, 2016

Face recognition and analysis参考文献 53被引用数 33

ひとこと要約

本論文は、分離された特徴量における空間的再帰フィードバックと時間的再帰学習を活用することで、正確性と一般化性能を向上させる、リアルタイムな動画ベースの顔アライメントのための再帰的エンコーダデコーダネットワークを提案する。ベンチマークデータセット上で最先端の性能を達成しており、68点設定下での挑戦的な300-VWデータセットにおいて5.43%の平均誤差を記録した。

ABSTRACT

We propose a novel recurrent encoder-decoder network model for real-time video-based face alignment. Our proposed model predicts 2D facial point maps regularized by a regression loss, while uniquely exploiting recurrent learning at both spatial and temporal dimensions. At the spatial level, we add a feedback loop connection between the combined output response map and the input, in order to enable iterative coarse-to-fine face alignment using a single network model. At the temporal level, we first decouple the features in the bottleneck of the network into temporal-variant factors, such as pose and expression, and temporal-invariant factors, such as identity information. Temporal recurrent learning is then applied to the decoupled temporal-variant features, yielding better generalization and significantly more accurate results at test time. We perform a comprehensive experimental analysis, showing the importance of each component of our proposed model, as well as superior results over the state-of-the-art in standard datasets.

研究の動機と目的

• 大規模なポーズ変動や隠蔽を伴う困難な動画シナリオにおける、静止画像ベースの顔アライメントの限界を解消すること。
• 長期間の時間的依存関係をモデル化することで、順序付き顔ランドマーク検出における一般化性能と正確性を向上させること。
• 空間的再帰フィードバックを用いて、1つのネットワーク内で反復的な粗いから細かいアライメントを実現すること。
• ボトルネック部で時間的不変（アイデンティティ）および時間的可変（ポーズ、表情）特徴量を分離し、より効果的な時間的モデリングを可能とすること。

提案手法

• 出力の応答マップと入力との間にフィードバックループを導入し、1つのネットワーク内で反復的精錬を可能にする空間的再帰学習を実装する。
• 教師ありアイデンティティ分類ヘッドを用いて、ボトルネック部の特徴量を時間的可変および時間的不変成分に分離する。
• 長期間の動きパターンを動画シーケンスでモデル化するために、時間的可変特徴量に再帰的ニューラルネットワーク（LSTM）を適用する。
• 最終的な2次元顔ランドマークマップの正則化に回帰損失を用い、局所化の正確性を向上させる。
• オートエンコーダ、アイデンティティ分類器、および再帰的時間モジュールの共同最適化により、エンドツーエンドでモデルを訓練する。
• 空間的および時間的イテレーション間でパラメータ共有を実施する、共有エンコーダデコーダアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 1つのネットワーク内での空間的再帰フィードバックは、級列モデルと比較して、粗いから細かい顔アライメントをより効果的にモデル化できるか？
• RQ2 ボトルネック部における時間的可変および時間的不変特徴量の分離は、動画ベースの顔アライメントにおける一般化性能を向上させるか？
• RQ3 時間的可変特徴量に対する再帰学習は、標準的な動画モデリングと比較して、長距離の時間的依存関係をより良く捉えることができるか？
• RQ4 教師ありアイデンティティ監視の導入は、特徴量の分離とテスト時の正確性にどのような影響を与えるか？
• RQ5 空間的再帰、時間的再帰、アイデンティティ分離の各要素が、全体の性能に果たす相対的寄与度は何か？

主な発見

• 提案手法は、68点評価設定下で300-VWデータセットにおいて5.43%の平均誤差を達成し、すべての最先端手法を上回った。
• 7点設定において、FMデータセットで3.17%の最低誤差を記録し、困難なシーケンスにおいて優れた性能を示した。
• 教師ありアイデンティティ分離の導入により、アイデンティティ損失なしのベースラインと比較して、テスト精度が9%向上した。
• アイデンティティ損失を用いることで、訓練中における一般化性能が向上し、10エポック目で左目ランドマークで84%の検証精度を達成した。
• Tesla K40 GPU上で1フレームあたり約30msで実行可能であり、実用的デプロイメントに適している。
• アブレーションスタディの結果、空間的再帰と時間的再帰の両方が不可欠であり、それぞれが性能向上に顕著な寄与を示した。