[論文レビュー] Face De-occlusion using 3D Morphable Model and Generative Adversarial Network

Xiaowei Yuan, In Kyu Park|arXiv (Cornell University)|Apr 12, 2019

Face recognition and analysis参考文献 34被引用数 8

ひとこと要約

本稿では、3次元可塑的モデル（3DMM）の事前知識を活用して、重度に遮蔽された入力から高精細で写真同等の顔画像を再構築する3DMM条件付きGANフレームワークを提案する。生成器を3DMMの幾何学的・意味的特徴でガイドし、グローバルおよびローカルの識別器を組み合わせることで、多様なポーズ、照明、遮蔽タイプにわたって頑健な顔の遮蔽除去を実現し、正確な3次元顔再構築と属性編集を可能にする。

ABSTRACT

In recent decades, 3D morphable model (3DMM) has been commonly used in image-based photorealistic 3D face reconstruction. However, face images are often corrupted by serious occlusion by non-face objects including eyeglasses, masks, and hands. Such objects block the correct capture of landmarks and shading information. Therefore, the reconstructed 3D face model is hardly reusable. In this paper, a novel method is proposed to restore de-occluded face images based on inverse use of 3DMM and generative adversarial network. We utilize the 3DMM prior to the proposed adversarial network and combine a global and local adversarial convolutional neural network to learn face de-occlusion model. The 3DMM serves not only as geometric prior but also proposes the face region for the local discriminator. Experiment results confirm the effectiveness and robustness of the proposed algorithm in removing challenging types of occlusions with various head poses and illumination. Furthermore, the proposed method reconstructs the correct 3D face model with de-occluded textures.

研究の動機と目的

• 眼鏡、マスク、手など、重度の遮蔽を伴う実世界の画像において、写真同等の顔の遮蔽除去の課題に取り組む。
• 低解像度、グレースケール、アライメント済み画像といった制限付き条件に依存する従来手法の限界を克服する。
• 3DMMの事前知識を用いた深層生成モデルにより、遮蔽されたテクスチャを復元することで、正確な3次元顔再構築を実現する。
• 遮蔽除去後に3DMM係数を操作することで、顔属性編集を可能にする。
• 学習および評価用に、顔のランドマークに基づいて意味的に配置された遮蔽を持つ、大規模かつ多様な合成顔画像データセットを構築する。

提案手法

• 生成器が3DMMパラメータに条件付けられる条件付きGANフレームワークを提案し、幾何学的・意味的事前知識を用いて遮蔽除去をガイドする。
• 全体的な画像の一貫性を保証するグローバル識別器と、3DMMに基づく顔アライメントで情報化された顔領域に焦点を当てたローカル識別器を統合する。
• 3DMMを用いて形状、テクスチャ、ポーズパラメータを抽出し、これらを生成器の入力として、欠落した顔領域の合成をガイドする。
• 対抗的損失、知覚的損失、再構築損失の組み合わせを用いて学習することで、高精細な出力を確保する。
• 300W-3DおよびAFLW2000-3Dデータセットを活用し、顔のランドマークに基づいて遮蔽を配置することで、多様な遮蔽を含む大規模なトレーニングセットを合成する。
• 3DMMに基づくフィッティングおよび形状から光の強さ（SfS）を用いて、遮蔽除去画像から詳細な3次元顔幾何を再構築する。

Figure 2: Proposed network structure. It consists of a generator with two discriminators. The generator takes a synthesis image and an occluded image as input. Two discriminators help to generate a more natural result. Only the generator is necessary during testing.

実験結果

リサーチクエスチョン

• RQ1 3DMM条件付きGANは、複雑なポーズや照明を伴う重度に遮蔽された画像から、写真同等の顔テクスチャを効果的に復元できるか？
• RQ2 幾何学的・意味的事前知識としての3DMMを組み込むことで、標準的なGANと比較して遮蔽除去性能がどのように向上するか？
• RQ3 本手法を遮蔽された入力画像に適用した場合、3次元顔再構築の質がどの程度向上するか？
• RQ4 遮蔽除去後の出力は、3DMM係数の操作による顔属性編集という後続タスクに利用可能か？
• RQ5 グローバルおよびローカル識別器の組み合わせは、単一識別器の構成と比較して、視覚的精細度および詳細回復にどのように寄与するか？

主な発見

• 提案手法は、実画像および合成画像の両方において、眼鏡、マスク、手など多様な遮蔽を、さまざまな頭部ポーズと照明条件下で効果的に除去できた。
• 視覚的比較により、グローバルおよびローカル識別器を併用したモデルが、目や自然な肌の質感といったシャープなディテールを有する最もリアルな結果を生成した。
• 遮蔽除去画像からの3次元顔再構築は、ノイズやアーチファクトに悩まされる遮蔽付き入力からの再構築と比較して、はるかにクリアで正確な幾何形状を達成した。
• 遮蔽除去されたテクスチャを用いて再構築された3次元顔モデルは、正しい形状と表面ディテールを示し、3次元再構築パイプラインへの有効性を実証した。
• 3DMM係数の変更により、同一の遮蔽付き入力からも、リアルで制御可能な顔生成が可能であることが示された。特に、表情係数を変更することで、顔属性編集が実現可能であった。
• アブレーションスタディにより、3DMMの事前知識や識別器を削除すると、ノイズが多く不自然な出力が得られることが確認され、フレームワーク内の各コンponentの必要性が裏付けられた。

Figure 3: Occluded face image (left) and the 3DMM synthesis (right).