[論文レビュー] M2FPA: A Multi-Yaw Multi-Pitch High-Quality Database and Benchmark for Facial Pose Analysis

Peipei Li, Xiang Wu+3 more|arXiv (Cornell University)|Mar 30, 2019

Face recognition and analysis参考文献 34被引用数 7

ひとこと要約

本論文は、229名の被験者を対象に、62のポーズ、変動する照度、アクセサリー、属性を含む、397,544枚の画像を含む大規模で高品質な多ヨー角・多ピッチ角顔面データベースM2FPAを紹介する。GANフレームワーク内にパーサー誘導型ディスクリミネーターを導入することで、顔面のフロントライズ化を改善し、M2FPAおよびMulti-PIEにおいて、ヨー角・ピッチ角の変動に強い顔認識および顔合成の分野で最先端の性能を達成した。極端なポーズ変動下でも、Rank-1正答率は最大99.96％に達した。

ABSTRACT

Facial images in surveillance or mobile scenarios often have large view-point variations in terms of pitch and yaw angles. These jointly occurred angle variations make face recognition challenging. Current public face databases mainly consider the case of yaw variations. In this paper, a new large-scale Multi-yaw Multi-pitch high-quality database is proposed for Facial Pose Analysis (M2FPA), including face frontalization, face rotation, facial pose estimation and pose-invariant face recognition. It contains 397,544 images of 229 subjects with yaw, pitch, attribute, illumination and accessory. M2FPA is the most comprehensive multi-view face database for facial pose analysis. Further, we provide an effective benchmark for face frontalization and pose-invariant face recognition on M2FPA with several state-of-the-art methods, including DR-GAN, TP-GAN and CAPG-GAN. We believe that the new database and benchmark can significantly push forward the advance of facial pose analysis in real-world applications. Moreover, a simple yet effective parsing guided discriminator is introduced to capture the local consistency during GAN optimization. Extensive quantitative and qualitative results on M2FPA and Multi-PIE demonstrate the superiority of our face frontalization method. Baseline results for both face synthesis and face recognition from state-of-theart methods demonstrate the challenge offered by this new database.

研究の動機と目的

• 実世界の顔のポーズ分析においてヨー角とピッチ角の両方の変動をカバーする包括的で高品質なデータベースが不足しているという問題に取り組む。
• 極端な視点変動下における顔面フロントライズ化およびポーズ不変顔認識の評価ベンチマークを提供する。
• 大規模なヨー角およびピッチ角の変動下でも、顔のアイデンティティ情報を保持する強力なディープラーニング手法を開発する。
• 新たなパーサー誘導型ディスクリミネーターを用いて、生成されたフロント面画像における局所的顔面の一貫性を向上させる。
• 監視やモバイルアプリケーションにおける、より現実的で正確な顔合成と認識を実現する。

提案手法

• M2FPAデータベースは、制御された取得システムを用いて収集され、13のヨー角（-90°から+90°）と5のピッチ角（-30°から+45°）の合計62のポーズをカバーする高解像度（1920×1080）の画像を含む。
• データベースには4つの属性、7種類の照度条件、5種類の眼鏡による被覆を含め、多様性と現実性を向上させた。
• パーサー誘導型ディスクリミネーターを導入し、意味セグメンテーションマップを活用することで、GAN学習中に局所的顔面の一貫性を強制する。
• 生成器がプロファイルまたは極端なポーズ入力からフロント面画像を合成する条件付きGANフレームワークを採用する。
• 顔認識性能は、事前学習済みモデル（LightCNN-29v2およびIR-50）を用い、特徴埋め込みに基づく距離指標で評価する。
• ベンチマーク評価はM2FPAおよびMulti-PIEの両方で実施され、DR-GAN、TP-GAN、CAPG-GANなどの最先端手法と比較された。

実験結果

リサーチクエスチョン

• RQ1 顔面フロントライズ化手法の性能は、極端なヨー角およびピッチ角の変動下でどのように変化するか？
• RQ2 パーサー誘導型ディスクリミネーターは、生成されたフロント面顔画像における局所的顔面の一貫性と現実性をどの程度向上させるか？
• RQ3 提案手法は、広範な視点変動下でのポーズ不変顔認識において、SOTA手法と比較してどのように差をつけるか？
• RQ4 多様なポーズ、照度、アクセサリーの変動は、顔認識システムのロバストネスにどのような影響を及えるか？
• RQ5 M2FPAのような大規模でマルチビュー顔面データベースは、将来的なポーズ不変顔分析研究の信頼できるベンチマークとして機能できるか？

主な発見

• 提案手法は、±90°のポーズ変動下でMulti-PIEにおいてRank-1認識正答率99.96％を達成し、比較したすべての手法を上回った。
• M2FPAでは、+30°および-30°のピッチ角でそれぞれ98.6％および97.2％のRank-1正答率を達成し、DR-GAN、TP-GAN、CAPG-GANを上回った。
• パーサー誘導型ディスクリミネーターは、局所的顔面構造の一貫性を顕著に向上させ、ベースラインGANと比較してより写真のようなリアルなフロントライズド画像を生成した。
• DR-GANは、M2FPAにおいて、教師なし学習とデータセット内のポーズ変動の多様性の高さのため、性能が著しく劣った。
• M2FPAデータベースは、既存の顔データベースと比較して、ヨー角、ピッチ角、照度、アクセサリー、属性のカバレッジが最も包括的である。
• ベンチマーク結果から、M2FPAは顕著な挑戦を提示しており、極端なポーズ下では認識正答率が著しく低下する傾向にあり、ロバストなポーズ不変手法の必要性を浮き彫りにした。