[論文レビュー] A Unified Tensor-based Active Appearance Face Model

Zhenhua Feng, Josef Kittler+2 more|arXiv (Cornell University)|Dec 30, 2016

Face recognition and analysis参考文献 62被引用数 6

ひとこと要約

本稿では、ポーズ、表情、照明の変化にわたる一貫した顔の形状とテクスチャを1つのテンソルモデルで統合的にモデル化する、統一的テンソルベースのアクティブアピアランスモデル（UT-AAM）を提案する。不完全なデータセットに対してテンソル補完を活用し、段階的回帰フィッティング戦略を採用することで、UT-AAMは顔の合成に強く、顔のランドマーク検出精度を向上させ、300-Wデータセットにおけるデータ拡張用途で最先端の性能を達成する。

ABSTRACT

Appearance variations result in many difficulties in face image analysis. To deal with this challenge, we present a Unified Tensor-based Active Appearance Model (UT-AAM) for jointly modelling the geometry and texture information of 2D faces. For each type of face information, namely shape and texture, we construct a unified tensor model capturing all relevant appearance variations. This contrasts with the variation-specific models of the classical tensor AAM. To achieve the unification across pose variations, a strategy for dealing with self-occluded faces is proposed to obtain consistent shape and texture representations of pose-varied faces. In addition, our UT-AAM is capable of constructing the model from an incomplete training dataset, using tensor completion methods. Last, we use an effective cascaded-regression-based method for UT-AAM fitting. With these advancements, the utility of UT-AAM in practice is considerably enhanced. As an example, we demonstrate the improvements in training facial landmark detectors through the use of UT-AAM to synthesise a large number of virtual samples. Experimental results obtained using the Multi-PIE and 300-W face datasets demonstrate the merits of the proposed approach.

研究の動機と目的

• ポーズ、表情、照明の変化にわたる不完全なトレーニングデータ（欠損サンプルを含む）を扱う古典的テンソルAAMの限界を解消すること。
• 複数の変化要因に特化したモデルを1つの一貫したテンソルモデルに統合し、形状とテクスチャを統合的に表現することで、複雑さを低減し一般化性能を向上させること。
• 事前状態推定に依存しないフィッティング手法を開発し、最適化における局所的最小値の問題を軽減すること。
• 任意のポーズ変化を持つ仮想顔画像のリアルな合成を可能とし、顔のランドマーク検出におけるデータ拡張に活用すること。
• UT-AAMが合成トレーニングデータを用いて顔のランドマーク検出器の性能向上に寄与することを実証すること。

提案手法

• 多次元特異値分解（HOSVD）を用いて、複数要因に起因する外見変化を1つの表現で捉える統一的テンソルモデルを構築し、形状とテクスチャを統合的に表現する。
• 不完全なデータセットにおける欠損トレーニングサンプルの再構築に、テンソル補完アルゴリズムを適用し、完全なデータ収集がなくてもモデル学習が可能となるようにする。
• 極端なポーズ変化に起因する自己遮蔽を扱うための統一的ランドマーク戦略を提案し、ポーズ変化にわたる一貫性ある形状・テクスチャ表現を確保する。
• 事前状態推定を不要とする段階的回帰ベースのフィッティングアルゴリズムを開発し、収束性と精度を向上させる。
• 学習済みのUT-AAMを用いて、多様なポーズ、表情、照明変化を持つ46,800例の仮想顔インスタンスを合成し、データ拡張に活用する。
• 実データと合成データを組み合わせて、段階的回帰モデル（SDMおよびCCR）をトレーニングし、ドメインシフトの影響を軽減するための動的重み付けを実施する。

実験結果

リサーチクエスチョン

• RQ1 完全なトレーニングデータがなくても、複数の外見的変化にわたる顔の形状とテクスチャを統一的テンソルモデルで効果的に表現できるか？
• RQ2 極端なポーズ変化に起因する自己遮蔽は、どのように処理することで一貫性ある形状・テクスチャモデリングを実現できるか？
• RQ3 テンソル補完技術を用いることで、顔モデリングにおける不完全なトレーニングデータセットから信頼性の高いモデル構築が可能になるか？
• RQ4 段階的回帰ベースのフィッティング戦略は、勾配降下法に基づく手法に比べ、精度とロバスト性において優れているか？
• RQ5 UT-AAMが生成する合成顔画像は、実世界のベンチマークで顔のランドマーク検出器の性能をどの程度向上できるか？

主な発見

• 提案されたUT-AAMは、テンソル補完を活用して不完全なトレーニングデータから1つの統一的テンソルモデルを構築し、完全なデータ収集がなくてもロバストなモデル学習が可能であることを示した。
• 統一的ランドマーク戦略は、極端なポーズにおける自己遮蔽領域を効果的に処理し、ポーズ変化にわたる一貫性ある形状・テクスチャ表現を確保した。
• 段階的回帰ベースのフィッティング手法は、状態推定が不正確な場合でも、勾配降下法に基づく手法に比べてより高い精度のフィッティング結果を達成した。
• UT-AAMを用いて合成された46,800例の仮想顔インスタンスは、300-Wベンチマークにおける顔のランドマーク検出性能を顕著に向上させ、ベースラインのSDMおよびCCR手法を上回った。
• 実データと合成データを組み合わせたCCRトレーニングにより、300-Wデータセットの屋外および屋内サブセットで、最先端の性能が達成された。
• 本手法は、大規模かつ多様な合成トレーニングデータを提供することで、深層学習ベースの顔のランドマーク検出器の性能向上に強く寄与する可能性を示した。