[論文レビュー] 4DFAB: A Large Scale 4D Facial Expression Database for Biometric Applications

Shiyang Cheng, Irene Kotsia+2 more|University of Twente Research Information|Dec 5, 2017

Face and Expression Recognition参考文献 42被引用数 9

ひとこと要約

4DFAB は、5年間にわたり4回のセッションで撮影された180名の被験者から成る大規模な4次元顔面表現データベースで、180万個を超える高解像度3次元顔面メッシュを含む。このデータベースは、高度な身体的特徴認証、顔面表現認識、高精度なブレンドシェープモデリングを可能にし、顔面表現の再構築性能が従来モデルを大きく上回るとともに、顔面の動きを用いた新規な動的アイデンティティ認証を実現する。

ABSTRACT

The progress we are currently witnessing in many computer vision applications, including automatic face analysis, would not be made possible without tremendous efforts in collecting and annotating large scale visual databases. To this end, we propose 4DFAB, a new large scale database of dynamic high-resolution 3D faces (over 1,800,000 3D meshes). 4DFAB contains recordings of 180 subjects captured in four different sessions spanning over a five-year period. It contains 4D videos of subjects displaying both spontaneous and posed facial behaviours. The database can be used for both face and facial expression recognition, as well as behavioural biometrics. It can also be used to learn very powerful blendshapes for parametrising facial behaviour. In this paper, we conduct several experiments and demonstrate the usefulness of the database for various applications. The database will be made publicly available for research purposes.

研究の動機と目的

• バイオメトリクス応用を支援する大規模かつマルチセッションな4次元顔面データベースの不足を解消すること。
• より現実的な顔面行動モデリングを実現するため、ポーズされた表現と自発的表現を併せ持つ包括的なデータセットを提供すること。
• 時間的顔面運動を用いた、頑健な動的顔認識および認証システムの開発を可能にすること。
• 正確な3次元顔面表現合成を実現する高品質で大規模なブレンドシェープモデルの作成

提案手法

• 5年間にわたり4回のセッションで180名の被験者を高解像度3次元スキャンで撮影し、180万個を超える3次元顔面メッシュを生成した。
• ポーズされた表現と自発的表現の両方を収集し、9語の発話と動的顔面行動を含めた。
• 4DFABデータセット上で学習された新しい表現ブレンドシェープモデルを構築し、顔面変形を高い忠実度で表現した。
• 3Dモーファブルモデル（3DMM）フィッティングを用いて、表現転送応用のためのニュートラルなターゲット顔面を抽出した。
• 学習されたブレンドシェープモデルを用いて、トポロジーが一貫した3次元顔面に、ソース被験者の表現を転送した。
• 未観測の表現に対する再構築誤差指標と、顔認識、表現認識、音声認識のタスクを用いた評価を通じて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 マルチセッションな4Dデータからの動的顔面運動は、静的3次元顔面モデルを上回る顔認識および認証性能を実現できるか？
• RQ2 提案されたブレンドシェープモデルは、最先端のモデルと比較して、自発的顔面表現の再構築においてどれほど効果的か？
• RQ3 4DFABは、表現転送を用いたリアルな3次元顔面アニメーションの合成をどの程度支援できるか？
• RQ4 顔面表現からのアイデンティティフリーな密な形状変形は、バイオメトリクス識別に信頼性を持って利用できるか？
• RQ5 マルチセッションデータは、顔認識システムの汎化性能および耐障害性にどのような影響を与えるか？

主な発見

• LSTMベースのモデルを用いた3次元動的音声認識において、4DFABデータベースは77.89%の認識率を達成し、ベースライン手法を上回った。
• 提案されたブレンドシェープモデルは、特に28個の成分を用いた場合に、FaceWarehouseモデルと比較して顕著に低い累積再構築誤差を示した。
• 4DFABに基づくモデルを用いた表現転送は、しわなどの微細な顔面ディテールを保持するより現実的な結果をもたらした。
• このデータベースのおかげで、バイオメトリクス応用における動的顔面運動の初の大規模評価が可能となり、有望な認識性能が示された。
• マルチセッションデータの使用により、顔認識および認証タスクにおける各セッションで一貫した性能が確認され、モデルの汎化性能が向上した。
• 4DFABで学習されたブレンドシェープモデルは、少ない成分数でも未観測の自発的表現を再構築する際、既存のモデルを上回る性能を示した。