[論文レビュー] VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder

Yuchao Gu, Xintao Wang+5 more|arXiv (Cornell University)|May 13, 2022

Face recognition and analysis被引用数 7

ひとこと要約

VQFR は、ベクトル量子化（VQ）コードブックを高品質な顔面ディテール辞書として用い、アイデンティティおよび顔面忠実度を保持するためのテクスチャワープモジュールを備えた並列デコーダーを用いた盲目的顔面修復手法を提案する。入力特徴を汚損のない生成ディテールで汚染せずに、エンドツーエンドで包括的な低レベル特徴バンクを学習することで、合成および実世界のベンチマークにおいて顔面ディテールのリアルさと忠実度の分野で最先端の性能を達成した。

ABSTRACT

Although generative facial prior and geometric prior have recently demonstrated high-quality results for blind face restoration, producing fine-grained facial details faithful to inputs remains a challenging problem. Motivated by the classical dictionary-based methods and the recent vector quantization (VQ) technique, we propose a VQ-based face restoration method - VQFR. VQFR takes advantage of high-quality low-level feature banks extracted from high-quality faces and can thus help recover realistic facial details. However, the simple application of the VQ codebook cannot achieve good results with faithful details and identity preservation. Therefore, we further introduce two special network designs. 1). We first investigate the compression patch size in the VQ codebook and find that the VQ codebook designed with a proper compression patch size is crucial to balance the quality and fidelity. 2). To further fuse low-level features from inputs while not "contaminating" the realistic details generated from the VQ codebook, we proposed a parallel decoder consisting of a texture decoder and a main decoder. Those two decoders then interact with a texture warping module with deformable convolution. Equipped with the VQ codebook as a facial detail dictionary and the parallel decoder design, the proposed VQFR can largely enhance the restored quality of facial details while keeping the fidelity to previous methods.

研究の動機と目的

• 未知の劣化条件下における顔面修復において、微細な顔面ディテールを回復する課題に取り組む。
• 既存手法がアイデンティティを保持できず、特に髪の毛や繊細な顔面部のテクスチャをリアルに生成できないという限界を克服する。
• 顔面のすべての領域にわたる包括的な低レベル特徴を捉える、VQベースの顔面ディテール辞書を構築する。
• 入力特徴とVQで生成されたテクスチャを劣化させることなく融合する、テクスチャワープモジュールを備えた並列デコーダーを設計する。
• 実世界の複雑な劣化状況において、知覚的品質とアイデンティティ保持のバランスを実現する。

提案手法

• VQコードブックは、最適な品質・忠実度トレードオフを得るための圧縮パッチサイズ f=32 を用いて、エンドツーエンドで高品質な顔面ディテール辞書を学習する。
• メインデコーダーとテクスチャデコーダーからなる並列デコーダー構造を導入し、入力特徴とVQで生成された特徴を別々に処理した後、融合する。
• テクスチャワープモジュールは可変畳み込みを用いて、VQコードブックの高周波数ディテールを劣化した入力の空間的構造に動的に整合させる。
• 複数のデコーダーステージで、劣化画像からの入力特徴とVQで生成された特徴を融合することで、アイデンティティおよび表情の正確性を保持する。
• リアルさとディテール忠実度を向上させるために、知覚的損失、 adversarial 損失、再構成損失の組み合わせでモデルを訓練する。
• VQコードブックは顔面パッチを離散的潜在空間に表現することで、ディテール回復のための効率的かつ堅牢な特徴検索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習されたベクトル量子化コードブックは、コンponent特化型の辞書を越えて、顔面ディテールのリアルさを向上させる有効な辞書として機能するか？
• RQ2 VQコードブックにおける圧縮パッチサイズの選択が、視覚的品質とアイデンティティ忠実度のトレードオフにどのように影響するか？
• RQ3 並列デコーダー構造は、低レベルの入力特徴と高品質なVQ生成特徴を劣化させることなく効果的に統合できるか？
• RQ4 可変畳み込みを用いたテクスチャワープモジュールは、特に重度の劣化下でも、修復されたディテールと入力の幾何構造との整合性を向上させるか？
• RQ5 VQFRは、複雑で未知の劣化を示す実世界データセットに対し、高い知覚的品質とアイデンティティ保持を維持したまま一般化できるか？

主な発見

• CelebA-Test において FID 41.28 を達成し、GFP-GAN や DFDNet よりも知覚的品質とアイデンティティ忠実度の両面で優れている。
• ランドマーク距離が 2.43 にまで低下し、表情および顔面構造の保持が強く示され、GFP-GAN と同等の水準である。
• 並列デコーダーとテクスチャワープモジュールを備えることで、NIQE が 3.693 にまで低下し、ベースラインと比較して高周波数ディテール回復が優れていることが示された。
• 実世界データセット（LFW-Test, CelebChild-Test, WebPhoto-Test）において、知覚的品質とリアルさの面で顕著な向上を示し、Fidelity において PULSE や GFP-GAN を上回った。
• アブレーションスタディにより、入力特徴と並列デコーダーが極めて重要であることが確認された。それらを削除すると、ランドマーク距離が10%増加し、微細ディテールが消失した。
• f=32 のVQコードブックが、リアルさと忠実度のバランスにおいて最良の結果をもたらした。より大きなパッチサイズでは、視覚的品質は向上するがアイデンティティ保持が劣化する傾向にあった。