[論文レビュー] Deep Learning-based Face Super-Resolution: A Survey

Junjun Jiang, Chenyang Wang+2 more|arXiv (Cornell University)|Jan 11, 2021

Advanced Image Processing Techniques参考文献 254被引用数 5

ひとこと要約

本サーベイは、顔の特徴（アイデンティティ、属性、事前知識など）に基づいて分類された、深層学習に基づく顔スーパーエンラージョン（FSR）手法の包括的レビューを提供する。ネットワークアーキテクチャ、損失関数、ベンチマークデータセット、性能指標を分析し、現実世界の劣化やマルチモーダル統合の課題を強調するとともに、FSR分野における今後の研究方向性を同定する。

ABSTRACT

Face super-resolution (FSR), also known as face hallucination, which is aimed at enhancing the resolution of low-resolution (LR) face images to generate high-resolution (HR) face images, is a domain-specific image super-resolution problem. Recently, FSR has received considerable attention and witnessed dazzling advances with the development of deep learning techniques. To date, few summaries of the studies on the deep learning-based FSR are available. In this survey, we present a comprehensive review of deep learning-based FSR methods in a systematic manner. First, we summarize the problem formulation of FSR and introduce popular assessment metrics and loss functions. Second, we elaborate on the facial characteristics and popular datasets used in FSR. Third, we roughly categorize existing methods according to the utilization of facial characteristics. In each category, we start with a general description of design principles, then present an overview of representative approaches, and then discuss the pros and cons among them. Fourth, we evaluate the performance of some state-of-the-art methods. Fifth, joint FSR and other tasks, and FSR-related applications are roughly introduced. Finally, we envision the prospects of further technological advancement in this field. A curated list of papers and resources to face super-resolution are available at \url{https://github.com/junjun-jiang/Face-Hallucination-Benchmark}

研究の動機と目的

• 顔の事前知識が再構成性能に与える影響に注目し、深層学習に基づく顔スーパーエンラージョン（FSR）手法を体系的にレビューすること。
• ネットワークアーキテクチャ、損失関数、評価指標がFSR性能に与える影響を分析すること。
• 複雑で多様な劣化プロセスを伴う現実世界のFSRにおける主な課題を特定すること。
• 音声、深度などのマルチモーダルデータをFSRに統合し、性能向上の可能性を検討すること。
• 未解決の問題と新たなトレンドを同定することで、今後の研究のロードマップを提示すること。

提案手法

• 顔の特徴（一般、事前知識誘導、属性制約、アイデンティティ保持、リファレンスベース）の利用に基づいてFSR手法を分類する。
• L1、L2、知覚的、 adversarial 損失（例：GANベース）など一般的に用いられる損失関数と、それらがPSNR、SSIM、LPIPS、FIDに与える影響をレビューする。
• SwinIR や IPT などのバックボーンネットワークを分析し、FSRにおける高いPSNRおよびSSIMを達成する役割を強調する。
• 標準的なベンチマーク（例：CelebA、FFHQ、CASIA-WebFace）とPSNR、SSIM、LPIPS、FIDなどの指標を用いて、最先端モデルの性能を評価する。
• 実際の劣化パターンを非ペairedな低解像度（LR）および高解像度（HR）画像から学習することで、一般化性能を向上させる現実世界のFSR技術を検討する。
• 音声、深度、ハイパースペクトルデータを用いたマルチモーダルFSRを検討し、RGB画像の事前知識を超えた再構成の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティ、属性、ランドマークなどの異なる顔の事前知識が、深層学習ベースのFSRモデルの性能にどのように影響を与えるか？
• RQ2 PSNR/SSIM と知覚的指標（LPIPS、FID）の間には、FSRモデル最適化を導く上でどのようなトレードオフがあるか？
• RQ3 合成データで訓練されたFSRモデルが、現実世界の低解像度（LR）顔画像に適用された際に性能が低下するのはなぜか？
• RQ4 音声、深度などのマルチモーダル情報は、どのように効果的にFSRに統合され、再構成品質を向上させることができるか？
• RQ5 実世界への展開に適した効率的で軽量かつ頑健なFSRモデルを設計する上で、主な課題は何か？

主な発見

• SwinIR や IPT といった高度なバックボーンを用いた最先端のFSRモデルは高いPSNRおよびSSIMを達成するが、データセットや劣化タイプによって性能に顕著な差が生じる。
• 知覚的および adversarial 損失（例：LPIPS、FID）はより視覚的に魅力的な結果を生み出すが、L1/L2 損失は高いPSNRおよびSSIMを優先するため、客観的品質と知覚的品質の間にはトレードオフがあることが示唆される。
• バイキューブ劣化で訓練されたモデルが、現実のLR画像に適用された場合、劣化パターンの不一致により性能が著しく低下する。
• 非ペアのLRおよびHR画像から実画像の劣化を学習する手法は、合成データでの訓練に比べてより頑健な性能を示すが、依然として均一な劣化を仮定しており、実際にはしばしば成立しない。
• 音声やハイパースペクトルを用いたマルチモーダルFSRは、RGBの事前知識を超える補完的情報を活用することで、再構成の向上に有望である。
• 普遍的な評価指標の欠如が主な課題であり、FSRにおいて、客観的忠実性と知覚的品質を最適にバランスさせる指標は存在しない。