[論文レビュー] Geometry-Aware Face Completion and Editing

Linsen Song, Jie Cao+3 more|arXiv (Cornell University)|Sep 9, 2018

Face recognition and analysis参考文献 34被引用数 5

ひとこと要約

本稿では、推定された顔のランドマークヒートマップとパーサリングマップを用いて高精細な画像生成をガイドする、幾何学的感度を持つ顔の補完および編集フレームワークであるFCENetを提案する。顔の幾何推定器、分離可能なマスク認識ジェネレータ、および低ランク正則化を統合することにより、FCENetは複雑な遮蔽下でも最先端の性能を達成するとともに、幾何学的操作による顔の属性のインタラクティブ編集を可能にする。

ABSTRACT

Face completion is a challenging generation task because it requires generating visually pleasing new pixels that are semantically consistent with the unmasked face region. This paper proposes a geometry-aware Face Completion and Editing NETwork (FCENet) by systematically studying facial geometry from the unmasked region. Firstly, a facial geometry estimator is learned to estimate facial landmark heatmaps and parsing maps from the unmasked face image. Then, an encoder-decoder structure generator serves to complete a face image and disentangle its mask areas conditioned on both the masked face image and the estimated facial geometry images. Besides, since low-rank property exists in manually labeled masks, a low-rank regularization term is imposed on the disentangled masks, enforcing our completion network to manage occlusion area with various shape and size. Furthermore, our network can generate diverse results from the same masked input by modifying estimated facial geometry, which provides a flexible mean to edit the completed face appearance. Extensive experimental results qualitatively and quantitatively demonstrate that our network is able to generate visually pleasing face completion results and edit face attributes as well.

研究の動機と目的

• 複雑な遮蔽下において意味的に一貫性があり、視覚的に現実的な顔の補完を生成する課題に対処すること。
• 顔の幾何学的事前知識（例：ランドマークヒートマップやパーサリングマップ）を、完成度の向上に寄与するエンドツーエンドのディープラーニングフレームワークに統合すること。
• 推定された顔の幾何画像を変更することで、顔の属性（例：目の大きさ、口の形）のインタラクティブ編集を可能にすること。
• 低ランク制約を用いて、破損した顔画像からのマスク領域を分離・正則化することで、多様な遮蔽形状やサイズにわたる一般化性能の向上を図ること。

提案手法

• マスク処理された顔画像から顔のランドマークヒートマップとパーサリングマップを予測する顔の幾何推定器を訓練し、補完のための幾何的事前知識を提供する。
• ジェネレータは、マスク画像と推定された幾何情報を入力として受ける条件付きエンコーダ・デコーダアーキテクチャを採用し、完全な顔の再構築とマスクの分離を実現する。
• 分離されたマスク行列に低ランク正則化項を適用し、真値マスクとの構造的類似性を強制することで、異なる遮蔽形状に対する耐性を向上させる。
• 生成対抗ネットワーク（GAN）フレームワークで、グローバルおよびローカルの2つのディスクリミネーターを用いて、生成画像の現実性を向上させる。
• ジェネレータに供給する前に、顔の幾何画像（例：口の領域を置き換え）を変更することで、インタラクティブ編集を可能にする。
• 敵対的損失、知覚的損失、および低ランクマスク正則化を組み合わせて、エンドツーエンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ランドマークヒートマップやパーサリングマップといった顔の幾何学的事前知識は、ベースライン手法と比較して顔の補完品質を顕著に向上させるか？
• RQ2 分離されたマスクの低ランク正則化は、多様な遮蔽形状やサイズにおいて性能をどの程度向上させるか？
• RQ3 同じモデルが、幾何入力を変更することで顔の補完と顔の属性のインタラクティブ編集の両方をサポートできるか？
• RQ4 ランドマークヒートマップとパーサリングマップの両方を用いる場合と、片方だけを用いる場合とを比較した場合、補完品質にどのような差が生じるか？

主な発見

• FCENetは、マルチ・パイ（Multi-PIE）データセットにおいて、ランドマークヒートマップとパーサリングマップに加えて低ランク正則化を適用した場合、PSNRが27.714、SSIMが0.904を達成し、すべてのアブレーション設定を上回る性能を示した。
• アブレーションスタディの結果、顔の幾何（ランドマークまたはパーサリングマップ）を追加することで、ベースライン（幾何なし）と比較してPSNRが最大2.788向上し、SSIMが最大0.063向上した。
• 低ランク正則化を適用した場合、ベースライン（正則化なし）と比較してPSNRが0.544向上し、SSIMが0.004向上した。
• 視覚的結果から、PM、SII、CE、GFCと比較して、FCENetは特に目や帽子による遮蔽といった困難なケースにおいて、より現実的で文脈的に一貫性のある顔を生成していることが示された。
• 本手法により、顔の属性（例：目の大きさ、口の形、鼻の幅）を、他の属性にほとんど影響を与えることなく、幾何入力の変更のみで柔軟かつインタラクティブに編集可能である。
• フレームワークは、複雑なマスクを破損した入力から効果的に分離し、大規模または不規則な遮蔽下でも高い忠実度を維持している。