[論文レビュー] FaceFormer: Scale-aware Blind Face Restoration with Transformers

Aijin Li, Gen Li+2 more|arXiv (Cornell University)|Jul 20, 2022

Face recognition and analysis被引用数 4

ひとこと要約

FaceFormerは、新規の顔特徴アップサンプリング（FFUP）モジュールと階層的トランスフォーマー基盤の顔特徴埋め込み（FFE）モジュールを用いて、任意の入力スケールにおいて高精細で現実的かつ対称的な顔の復元を実現するスケールに注意を向ける盲目的な顔復元フレームワークを提案する。合成データで学習された本手法は、最先端の手法よりも現実世界の低品質な画像への一般化性に優れている。

ABSTRACT

Blind face restoration usually encounters with diverse scale face inputs, especially in the real world. However, most of the current works support specific scale faces, which limits its application ability in real-world scenarios. In this work, we propose a novel scale-aware blind face restoration framework, named FaceFormer, which formulates facial feature restoration as scale-aware transformation. The proposed Facial Feature Up-sampling (FFUP) module dynamically generates upsampling filters based on the original scale-factor priors, which facilitate our network to adapt to arbitrary face scales. Moreover, we further propose the facial feature embedding (FFE) module which leverages transformer to hierarchically extract diversity and robustness of facial latent. Thus, our FaceFormer achieves fidelity and robustness restored faces, which possess realistic and symmetrical details of facial components. Extensive experiments demonstrate that our proposed method trained with synthetic dataset generalizes better to a natural low quality images than current state-of-the-arts.

研究の動機と目的

• 既存の顔復元手法が特定の入力スケールに制限されているという限界に対処すること、特に任意の劣化を伴う現実世界のシナリオにおいて。
• スケールに注意を向ける特徴学習と階層的アテンションメカニズムを活用することで、復元の忠実度と頑健性を向上させること。
• 教師あり劣化事前知識に依存せずに、合成データからの学習から現実世界の低品質な顔画像へ一般化すること。
• 極端な拡大や重度の劣化下でも、アイデンティティの一貫性と、瞳孔、眉毛、まつげといったリアルな顔の詳細を維持すること。

提案手法

• 顔特徴アップサンプリング（FFUP）モジュールは、入力スケール要因の事前知識に基づいて動的にスケールに注意を向けるアップサンプリングフィルタを生成し、固定解像度の制約なしに任意スケールの顔復元を可能にする。
• 顔特徴埋め込み（FFE）モジュールは、重複のない局所ウィンドウとウィンドウ間接続を備えた階層的トランスフォーマーアーキテクチャを用いて、多様で頑健な顔の潜在特徴を抽出する。
• 本フレームワークは、FFUPとFFEを統合した統一された顔復元パイプラインを採用し、スケールに注意を向ける特徴精錬とアテンションベースの特徴強化を組み合わせる。
• 本手法は、スケールに注意を向ける特徴を精錬するための超解像バックボーンに分数サンプリング器を活用し、その後、FFEおよびジェネレータモジュールに供給する。
• FFEモジュールは、階層的な方法で多頭部自己アテンションを用いて長距離依存性と局所的顔部構造をモデル化することで、特徴表現を強化する。
• 本フレームワークは合成データセット上でエンド・トゥ・エンドに学習され、微調整なしに現実世界の低品質な画像へ効果的に一般化する。

実験結果

リサーチクエスチョン

• RQ1 固定解像度の入力が不要な状況でも、任意の入力スケールにわたって盲的な顔復元モデルが効果的に一般化できるか？
• RQ2 スケールに注意を向けるアップサンプリング機構は、極端な拡大状況における復元品質を向上させ、アーティファクトを低減するか？
• RQ3 階層的トランスフォーマー基盤の特徴埋め込みモジュールは、復元された顔部の忠実度と現実性をどの程度向上させるか？
• RQ4 合成データで学習されたにもかかわらず、本フレームワークは現実世界の低品質な顔画像において最先端の手法を上回る性能を示すか？

主な発見

• FaceFormerは、LFW-testおよびCelebChildの実世界データセットで最先端の性能を達成し、CelebA-TestではFIDが13.17、LPIPSが0.3237を記録し、先行手法を上回った。
• アブレーションスタディの結果、FFUPモジュールを削除するとLPIPSが0.0265上昇し、FIDが4.65上昇し、視覚的品質とアイデンティティ保持性の著しい低下が示された。
• FFEモジュールを削除した場合、FIDは42.62に急激に上昇し、LPIPSも0.3646に上昇した。これは、顔の構造と詳細忠実度を維持する上でFFEモジュールが極めて重要な役割を果たしていることを示している。
• 極端な拡大率（×6.0および×8.0）において、FaceFormerはGFP-GANよりも視覚的に優れた結果を生成し、はっきりとした眉毛とより現実的な肌の質感を再現した。
• 定性的な結果の4行目では、瞳孔の色が一貫して保たれていることが確認され、アイデンティティの一貫性が強く示された。
• 視覚的比較では、FaceFormerはHiFaceGAN や Wan 他のような手法がよく見られる眼や口領域での透明なアーティファクトやぼやけを回避した。