[論文レビュー] SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis

Yu Yin, Joseph P. Robinson+4 more|arXiv (Cornell University)|Dec 7, 2020

Face recognition and analysis参考文献 40被引用数 4

ひとこと要約

SuperFrontは、スーパーサンプル化の側面ビュー部とピクセル単位の損失を統合することで、低解像度で極端なアングルの顔画像から高解像度でアイデンティティを保持する正面顔を合成するGANベースのモデル（SF-GAN）を提案する。特徴として、直交正則化を用いた単一から多数への入力統合を実現し、アイデンティティ保持性と画像品質の面で最先端の性能を達成している。

ABSTRACT

Advances in face rotation, along with other face-based generative tasks, are more frequent as we advance further in topics of deep learning. Even as impressive milestones are achieved in synthesizing faces, the importance of preserving identity is needed in practice and should not be overlooked. Also, the difficulty should not be more for data with obscured faces, heavier poses, and lower quality. Existing methods tend to focus on samples with variation in pose, but with the assumption data is high in quality. We propose a generative adversarial network (GAN) -based model to generate high-quality, identity preserving frontal faces from one or multiple low-resolution (LR) faces with extreme poses. Specifically, we propose SuperFront-GAN (SF-GAN) to synthesize a high-resolution (HR), frontal face from one-to-many LR faces with various poses and with the identity-preserved. We integrate a super-resolution (SR) side-view module into SF-GAN to preserve identity information and fine details of the side-views in HR space, which helps model reconstruct high-frequency information of faces (i.e., periocular, nose, and mouth regions). Moreover, SF-GAN accepts multiple LR faces as input, and improves each added sample. We squeeze additional gain in performance with an orthogonal constraint in the generator to penalize redundant latent representations and, hence, diversify the learned features space. Quantitative and qualitative results demonstrate the superiority of SF-GAN over others.

研究の動機と目的

• 既存の手法が低品質と大きなアングル変動のためうまく対処できない、低解像度で極端なアングルの顔画像から高解像度でアイデンティティを保持する正面顔を生成する課題に対処すること。
• 側面ビュー枝においてアイデンティティと繊細な顔の細部を保持するスーパーサンプル化モジュールを統合することで、顔のスーパーサンプル化と大アングル正面化を同時に解決すること。
• 構造的類似性を向上させ、エッジや形状情報を捉えるためにピクセル単位の損失に代わるピクセルレベルの損失を導入することで、顔の構造的正確性とアイデンティティの忠実性を向上させること。
• 任意のアングルを持つ複数の低解像度入力から、特徴量の重複を低減する直交正則化を備えたマルチイメージ統合機構を設計することで、耐障害性の高い合成を可能にすること。
• ピクセル損失、アイデンティティ損失（L_ID）、 adversarial 損失（L_Adv）、構造的損失を組み合わせることで、忠実性、アイデンティティ、構造的リアルさのバランスを取った最先端の性能を達成すること。

提案手法

• SF-GANは、1枚または複数の低解像度の側面ビュー顔画像を入力とし、高解像度の正面顔を出力する条件付きGANフレームワークを採用する。
• 主なジェネレータとは並列に、周辺眼領域、鼻、口などの高周波数ディテールを保持するスーパーサンプル化（SR）側面ビュー部を統合し、アイデンティティの忠実性を向上させる。
• 構造的一致性を向上させ、側面ビューから正面ビューへの非線形変換を正確に学習できるように、SSIMに基づくピクセルレベルの損失を導入する。
• 共有ジェネレータを用いて複数の低解像度画像を統合する単一から多数への入力に対応し、潜在空間に直交正則化を適用することで、重複表現を罰し、特徴量の多様性を高める。
• L1ピクセル損失、アイデンティティ損失（L_ID）、 adversarial 損失（L_Adv）、SSIMに基づくピクセルレベル損失を組み合わせた損失関数を用い、忠実性、アイデンティティ、構造的リアルさのバランスを取る。
• マルチイメージ統合は、特徴量レベルの連結に直交制約を適用することで実装され、画像レベルの統合や単純な特徴量の加算に比べて優れた性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、低解像度顔のスーパーサンプル化と大アングル正面化を同時に解決し、アイデンティティと高周波数の顔のディテールを保持できるか？
• RQ2 側面ビュー枝にスーパーサンプル化モジュールを統合することで、正面顔合成におけるアイデンティティ保持性と画像品質はどのように向上するか？
• RQ3 標準的なピクセル単位の損失と比較して、ピクセルレベルの損失（SSIMに基づく）は構造的忠実性をどの程度向上させるか？
• RQ4 任意のアングルを持つ複数の画像入力は、合成された正面顔の品質とアイデンティティ保持性にどのような影響を与えるか？
• RQ5 マルチイメージジェネレータの潜在空間における直交正則化は、特徴量の多様性を高め、冗長性を低減させ、より良い合成性能をもたらすか？

主な発見

• LFW-HPENベンチマークでは、SF-GANはランク1正答率99.48%、AUC99.96%を達成し、先行研究の最先端手法を上回った。
• マルチイメージ入力では、MultiPIEデータセットで98.43%のランク1正答率を達成し、単一画像ベースラインや制約なしの特徴量レベル統合に比べ顕著な向上を示した。
• アブレーションスタディの結果、SR側面ビュー部を削除するとランク1正答率が84.99%に低下し、アイデンティティと繊細なディテールの保持に果たすその重要性が確認された。
• ピクセルレベル損失（SSIM）の導入により構造的忠実性が向上し、損失を削除した場合のランク1正答率91.16%は、全損失を有効にした場合の92.81%に比べて劣っていた。
• マルチイメージ統合における直交正則化により、ランク1正答率が97.68%から98.43%に向上し、特徴量の冗長性低減の有効性が裏付けられた。
• マルチイメージ入力時、PSNR（24.43 dB）とSSIM（0.762）が高く維持され、優れた画像品質と構造的一致性を示した。