[論文レビュー] BoostGAN for Occlusive Profile Face Frontalization and Recognition

Qingyan Duan, Lei Zhang|arXiv (Cornell University)|Feb 26, 2019

Face recognition and analysis参考文献 36被引用数 9

ひとこと要約

この論文では、大きなポーズ変動および部分的遮蔽下でも、顔の輪郭を同時に脱遮蔽・正面化・認識するエンドツーエンドの生成的対抗ネットワーク、BoostGANを提案する。粗い段階から細かい段階へのアーキテクチャを用い、初期合成に深層GAN、高精細なリファインメントに浅層ブースティングネットワークを適用することで、LFWデータセットにおけるキーポイント遮蔽下で94.90% AUCという最先端の顔認識精度を達成するとともに、アイデンティティとテクスチャを保持する。

ABSTRACT

There are many facts affecting human face recognition, such as pose, occlusion, illumination, age, etc. First and foremost are large pose and occlusion problems, which can even result in more than 10% performance degradation. Pose-invariant feature representation and face frontalization with generative adversarial networks (GAN) have been widely used to solve the pose problem. However, the synthesis and recognition of occlusive but profile faces is still an uninvestigated problem. To address this issue, in this paper, we aim to contribute an effective solution on how to recognize occlusive but profile faces, even with facial keypoint region (e.g. eyes, nose, etc.) corrupted. Specifically, we propose a boosting Generative Adversarial Network (BoostGAN) for de-occlusion, frontalization, and recognition of faces. Upon the assumption that facial occlusion is partial and incomplete, multiple patch occluded images are fed as inputs for knowledge boosting, such as identity and texture information. A new aggregation structure composed of a deep GAN for coarse face synthesis and a shallow boosting net for fine face generation is further designed. Exhaustive experiments demonstrate that the proposed approach not only presents clear perceptual photo-realistic results but also shows state-of-the-art recognition performance for occlusive but profile faces.

研究の動機と目的

• 既存の研究でほとんど検討されていない、顔のキーポイント（例：目、鼻）が遮蔽された状態での輪郭顔の認識という課題に取り組む。
• 既存のGANベースの画像補完および正面化手法の限界を克服し、オープンセット遮蔽下でもアイデンティティを保持できるようにする。
• 任意の遮蔽を持つ輪郭顔に対して、同時に脱遮蔽・正面化・認識を実行する統合フレームワークを構築する。
• 遮蔽タイプ（キーポイント遮蔽 vs. ランダムブロック遮蔽）の多様性とポーズ変動、特に制約のない環境下でも頑健性を確保する。
• トレーニングデータにテスト時の正確な遮蔽パターンが含まれない場合でも、高精細でアイデンティティ保持型の顔合成を達成する。

提案手法

• 2段階の粗い段階から細かい段階へのアーキテクチャを提案：初期の脱遮蔽および正面化に深層GANネットワーク（粗いネット）、高精細なリファインメントに浅層ブースティングネットワーク（細かいネット）を用いる。
• 複数の部分的遮蔽された輪郭顔画像を粗いネットの入力として供給し、異なる遮蔽パターン間での知識集約を可能にすることで、耐障害性を向上させる。
• 複数スケールのピクセルレベルおよび特徴量レベルの監視を統合し、合成過程でアイデンティティとテクスチャ情報を保持する。
• 複数の遮蔽入力を統合するマルチインプットブースティングネットワークを用い、クリアで正面的かつアイデンティティ一貫性のある顔を生成する。
• 敵対的損失、アイデンティティ保持損失、知覚的損失を用いて、エンドツーエンドでモデルを訓練し、リアルさとアイデンティティの正確性を保証する。
• 局所的詳細の生成と出力のリアルさを向上させるために、残差U-Netに類似した生成器とPatchGAN識別器を活用する。

実験結果

リサーチクエスチョン

• RQ1 キーポイント領域が損傷または欠落している状態の輪郭顔に対して、GANベースのモデルが効果的に脱遮蔽および正面化を実行できるか？
• RQ2 テスト時の遮蔽パターンがトレーニング時と異なる場合でも、特に顔のキーポイントが含まれる重要な領域が遮蔽された状態で、アイデンティティとテクスチャ情報をどのように保持できるか？
• RQ3 粗い段階から細かい段階へのマルチインプットブースティングアーキテクチャは、単一入力のGANよりも、遮蔽下で高精細でアイデンティティ保持型の正面顔を生成する点で優れているか？
• RQ4 提案されたモデルは、遮蔽タイプ（例：キーポイント遮蔽 vs. ランダムブロック遮蔽）およびポーズ変動の多様性に一般化できるか、制約のない環境下で有効か？
• RQ5 提案されたBoostGANは、既存の最先端手法に比べて、脱遮蔽品質および顔認識タスクの下流性能の両面で優れているか？

主な発見

• キーポイント遮蔽下でLFWデータセットにおいて94.90% AUCを達成し、次に優れた手法（TP-GAN）を1.7ポイント以上上回った。
• ランダムブロック遮蔽下では94.75% AUCを達成し、DR-GAN（66.78%）とTP-GAN（88.22%）を大きく上回り、多様な遮蔽タイプに対する頑健性を示した。
• Multi-PIEデータセットにおけるクリアな輪郭顔認識では、平均Rank-1精度が95.86%を達成し、以前の最先端手法（TP-GAN：94.96%）を上回った。
• 全ポーズ角度（±15°から±60°）において高い性能を維持し、±15°でRank-1精度が99.88%に達した。これはポーズ変動下でも強力な一般化性能を示している。
• 視覚的結果から、BoostGANは、顔の重要なキーポイントが含まれる遮蔽領域があっても、写真のようにリアルでアイデンティティ保持型の顔を生成していることが確認された。これに対して、従来手法はこのような条件下で失敗している。
• アブレーションスタディにより、マルチインプットブースティング機構と粗い段階から細かい段階への設計が性能に不可欠であることが確認され、変種を用いた実験で顕著な精度低下が観察された。