[論文レビュー] Towards Real-World Blind Face Restoration with Generative Facial Prior

Xintao Wang, Yu Li+2 more|arXiv (Cornell University)|Jan 11, 2021

Advanced Image Processing Techniques参考文献 74被引用数 25

ひとこと要約

GFP-GAN は Generative Facial Prior（生成的顔先行情報）として事前学習済みの顔 GAN を使用し、その潜在特徴を CS-SFT 層を通じて流し、単一パスのブラインド顔復元と同時のカラー強化を実行します。合成データおよび実世界データに対して、従来の手法を上回ります。

ABSTRACT

Blind face restoration usually relies on facial priors, such as facial geometry prior or reference prior, to restore realistic and faithful details. However, very low-quality inputs cannot offer accurate geometric prior while high-quality references are inaccessible, limiting the applicability in real-world scenarios. In this work, we propose GFP-GAN that leverages rich and diverse priors encapsulated in a pretrained face GAN for blind face restoration. This Generative Facial Prior (GFP) is incorporated into the face restoration process via novel channel-split spatial feature transform layers, which allow our method to achieve a good balance of realness and fidelity. Thanks to the powerful generative facial prior and delicate designs, our GFP-GAN could jointly restore facial details and enhance colors with just a single forward pass, while GAN inversion methods require expensive image-specific optimization at inference. Extensive experiments show that our method achieves superior performance to prior art on both synthetic and real-world datasets.

研究の動機と目的

• 明示的な几何 priors または高品質な参照が利用できない場合の現実世界のブラインド顔復元を促進する。
• 事前学習済みの顔 GAN からの豊富な priors を活用して、顔の細部を同時に復元し色彩を強化する。
• 潜在マッピングと空間特徴変換を介して、劣化除去モジュールと事前学習済み GAN を統合するフレームワークを開発する。
• 現実感・忠実度・同一性のバランスを取るため、顔部成分損失・同一性保持損失・再構成損失を導入する。

提案手法

• U-Net による劣化除去を行い、StyleGAN2 への潜在マッピング用の潜在特徴と変調用の多解像度空間特徴を生成する。
• エンコードされた潜在特徴を StyleGAN2 の中間潜在コード（W）へマッピングし、複数解像度で GAN 特徴（F_GAN）を取得する。
• 多解像度の空間特徴を用いて CS-SFT によって F_GAN を変調し、忠実度と現実感のバランスをとる。
• 生成的顔先行情報（GFP）を組み込み、事前学習済みの StyleGAN2 を用いて多様な質感・色・幾何的手がかりを提供する。
• 再構成損失・対向的損失・局所識別器付き顔部損失とスタイル損失・同一性保持損失を組み合わせて学習する。
• ピラミッド復元損失と ROI ベースの識別器を用いて目・口・その他の顔部を強化する。

実験結果

リサーチクエスチョン

• RQ1 GAN に埋め込まれた事前学習済みの生成的顔先行が、実世界の劣化した顔を単一の前方伝播で十分なテクスチャ・色・幾何学的 priors を提供できるか。
• RQ2 GAN の特徴の CS-SFT 調整が入力の空間情報をどのように統合して、復元時の忠実度と現実感のバランスを取るか。
• RQ3 顔部識別器と特徴スタイル損失は、主要な顔領域の知覚品質と質感の現実性を向上させるか。
• RQ4 GFP-GAN フレームワークは、同一性を保持しつつ高忠実度な顔の細部を復元しカラー強化を可能にするか。
• RQ5 提案手法の合成データおよび実世界の劣化顔に対する性能は、最先端の復元法と比較してどうか。

主な発見

• GFP-GAN は合成データと実世界データの両方で知覚品質が優れており、LPIPS が低く、FID/NIQE や同一性保持の点で競合的または上回る。
• CS-SFT 層は反復的な GAN 逆推定を必要とせず、単一前方伝播で現実感と忠実度の良いバランスを実現。
• 事前学習済みの GAN による豊かな priors によって、髪、目、歯、および全体的な顔の質感が改善され、復元とカラー強化を同時に実現。
• 多解像度空間モジュレーション、GFP prior、ピラミッド復元損失、顔部損失の重要性を示すアブレーション研究は性能向上を確認。
• 実世界データセット（LFW、CelebChild、WebPhoto）は、複数のベースラインと比較して FID および NIQE で優れた結果を示し、実世界データで高い性能を発揮。