[論文レビュー] Progressive Semantic-Aware Style Transformation for Blind Face Restoration

Chaofeng Chen, Xiaoming Li+4 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Image Processing Techniques参考文献 46被引用数 14

ひとこと要約

本稿では、マルチスケールの低品質（LQ）画像とパースリングマップを活用して、粗々から細かくまで段階的に高品質（HQ）顔を復元する、盲目的な顔復元を目的としたプログレッシブで意味的認識型のスタイル変換フレームワーク、PSFR-GANを提案する。意味的認識型スタイル損失と事前学習済みの顔パースリングネットワークを統合することで、実世界のLQ画像において最先端の一般化性能を達成し、詳細回復とアーティファクト低減の面で従来手法を上回る。

ABSTRACT

Face restoration is important in face image processing, and has been widely studied in recent years. However, previous works often fail to generate plausible high quality (HQ) results for real-world low quality (LQ) face images. In this paper, we propose a new progressive semantic-aware style transformation framework, named PSFR-GAN, for face restoration. Specifically, instead of using an encoder-decoder framework as previous methods, we formulate the restoration of LQ face images as a multi-scale progressive restoration procedure through semantic-aware style transformation. Given a pair of LQ face image and its corresponding parsing map, we first generate a multi-scale pyramid of the inputs, and then progressively modulate different scale features from coarse-to-fine in a semantic-aware style transfer way. Compared with previous networks, the proposed PSFR-GAN makes full use of the semantic (parsing maps) and pixel (LQ images) space information from different scales of input pairs. In addition, we further introduce a semantic aware style loss which calculates the feature style loss for each semantic region individually to improve the details of face textures. Finally, we pretrain a face parsing network which can generate decent parsing maps from real-world LQ face images. Experiment results show that our model trained with synthetic data can not only produce more realistic high-resolution results for synthetic LQ inputs and but also generalize better to natural LQ face images compared with state-of-the-art methods. Codes are available at https://github.com/chaofengc/PSFRGAN.

研究の動機と目的

• 劣化の種類が未知で多様な実世界のシナリオにおける盲目的顔復元の課題に対処すること。
• 複数スケールにおける意味的（パースリングマップ）およびピクセルレベル（LQ画像）の情報を統合することで、低品質入力からの高品質顔生成を向上させること。
• 高品質リファレンス画像を必要とせず、自然で実世界のLQ顔画像にうまく一般化できる実用的フレームワークを開発すること。
• 新しい損失関数により、復元された顔領域のアーティファクトを低減し、テクスチャの現実性を向上させること。

提案手法

• フレームワークは、学習済みの定数潜在コードから開始し、段階的な層を経て特徴量をアップサンプリングするプログレッシブでマルチスケールのアーキテクチャを採用する。
• 各スケールで意味的認識型スタイル変調が適用され、マルチスケールのLQ画像とパースリングマップからスタイルベクトルが生成され、特徴量の精練が制御される。
• 意味的認識型スタイル損失は、顔の意味的領域ごとに別々にグラム行列損失を計算し、テクスチャの現実性を向上させるとともにアーティファクトを低減する。
• モデルは合成データで学習され、事前学習済みの顔パースリングネットワーク（FPN）の活用により、実世界のLQ画像への一般化が効果的に可能である。
• FPNは実際のLQ顔画像からパースリングマップを予測するように学習され、テスト時にはLQ入力のみでエンドツーエンド推論が可能になる。
• 全体的なフレームワークはプログレッシブな特徴量変調と領域特化型のスタイル損失を組み合わせることで、構造的一致性とテクスチャ忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブでマルチスケールのスタイル変換フレームワークは、エンドツーエンドエンコーダデコーダモデルを上回る盲目的顔復元を実現できるか？
• RQ2 パースリングマップを意味的ガイダンスとして組み込むと、復元された顔画像の品質と現実性にどのような影響を与えるか？
• RQ3 領域別に意味的認識型スタイル損失を適用することで、顔の異なる領域におけるテクスチャの詳細回復とアーティファクト低減にどの程度寄与するか？
• RQ4 合成データで学習したモデルは、高品質リファレンスが不要な状況でも、実世界の低品質顔画像に効果的に一般化できるか？

主な発見

• PSFR-GANはPSFR-RealTestベンチマークでFID 30.39を達成し、ベースラインモデル（FID 47.48）および他のバリエーションを上回った。
• アブレーションスタディの結果、パースリングマップガイダンスと意味的認識型スタイル損失を組み合わせることで最良の性能が得られ、ベースラインからFIDが17.11ポイント低減した。
• 視覚的結果から、パースリングマップを含まないモデルは、特にLQ入力のエッジがぼやけている場合に明確な顔の境界を再構築できないことが明らかになった。
• 意味的認識型スタイル損失を含まないモデルは、特に目領域に顕著なアーティファクトを生じるが、PSFR-GANはこうした歪みを効果的に抑制した。
• フレームワークは最大×16のアップスケーリングに対しても堅牢に一般化し、高劣化レベルでも視覚的に妥当な結果を出力した。
• 事前学習済みの顔パースリングネットワーク（FPN）は実世界のLQ画像に対して強く頑健であり、LQ入力のみで実用的なデプロイメントを可能にした。