[論文レビュー] Deep Face Restoration: A Survey

Tao Wang, Kaihao Zhang+4 more|ArXiv.org|Nov 5, 2022

Advanced Image Processing Techniques被引用数 16

ひとこと要約

本サーベイは、ノイズ除去、超解像、ぼかし回復、アーティファクト除去、ブラインド回復を含む、深層学習に基づく顔画像修復手法について包括的なレビューを提供する。ネットワークアーキテクチャ、損失関数、顔の事前知識、ベンチマークデータセットの分析と、最先端手法の評価を行い、再現可能性および顔画像修復分野における今後の研究を支援するオープンソースリポジトリを提供する。

ABSTRACT

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistical priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to systematically study the deep learning based face restoration methods. Thus, in this paper, we provide a comprehensive survey of recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristics of face images. Second, we discuss the challenges of face restoration. With regard to these challenges, we present a comprehensive review of recent FR methods, including prior-based methods and deep-learning methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss the future directions including network designs, metrics, benchmark datasets, applications, etc. We also provide an open source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

研究の動機と目的

• ノイズ、ぼかし、低解像度、圧縮アーティファクトを含む、複数の劣化タイプにわたる深層学習ベースの顔画像修復技術を体系的にレビューすること。
• 最先端の顔画像修復モデルにおけるネットワークアーキテクチャ、損失関数、顔の事前知識、学習戦略といった主要な構成要素を分析すること。
• 合成データセットおよび実世界のデータセット上で代表的な手法を評価し、性能と一般化能力を評価すること。
• ネットワーク設計、評価指標、ベンチマークデータセット、実世界応用分野における未解決の課題を特定し、今後の研究方向性を提案すること。
• 再現可能性とコミュニティの進展を支援するため、顔画像修復手法を公開・整理した、公開可能なキュレート済みリポジトリを提供すること。

提案手法

• 本サーベイは、劣化タイプに基づき、顔画像修復をノイズ除去、ぼかし回復、超解像、アーティファクト除去、ブラインド回復の5つの主要なタスクに分類する。
• 幾何的、参照ベース、生成的といった事前知識に基づく手法と、事前知識を用いない手法をレビューし、顔の構造やテクスチャのモデリングにおけるその長所と短所を分析する。
• U-Net、残差ネットワーク、トランスフォーマーに基づく設計といったネットワークアーキテクチャを評価し、特徴抽出と再構成の忠実度におけるその役割を強調する。
• ピクセルレベルの正確性と知覚的品質の両立を図る、知覚損失、敵対的損失、および組み合わせ損失といった損失関数を検討する。
• FFHQ などの標準データセットと実世界の画像を用いて手法をベンチマーク化し、合成データと実世界データの間での性能格差を強調する。
• 本サーベイで調査された手法のカタログ作成と実装支援を目的として、https://github.com/TaoWangzj/Awesome-Face-Restoration にオープンソースリポジトリを維持する。

実験結果

リサーチクエスチョン

• RQ1 異なる深層学習アーキテクチャおよび損失関数は、修復された顔画像の品質と現実性にどのように影響を与えるか？
• RQ2 合成データで訓練された顔画像修復モデルが、多様な劣化パターンを示す実世界の状況に一般化する際の主な課題は何か？
• RQ3 顔の事前知識（幾何的、参照ベース、生成的）は、修復性能と構造的一致性をどのように向上させるか？
• RQ4 現在のベンチマークデータセットが、顔画像修復モデルの公平かつ信頼性のある評価を可能にする点で、どのような制限を抱えているか？
• RQ5 特に動画修復、実世界への展開、下流タスクとの統合を踏まえた場合、顔画像修復分野における今後の最も有望な研究方向性は何か？

主な発見

• 従来の統計的・モデルベースの手法に比べ、深層学習に基づく顔画像修復手法は視覚的品質と構造的一致性において顕著に優れている。
• 特に幾何的および参照ベースの事前知識の使用により、修復画像における顔の構造がより現実的かつ一貫性を持つようになる。
• 現在のベンチマークデータセットはしばしば小規模かつ合成的であるため、複雑で多様な劣化を示す実世界のシナリオへのモデルの一般化が制限されている。
• 合成データで訓練されたモデルと実世界の顔画像でテストされたモデルとの間に顕著な性能格差が見られ、ドメインシフトの問題が示唆されている。
• 動画の顔画像修復は、需要が高まっているにもかかわらず、まだ十分に研究が進んでおらず、時空間的一致性を活用するという観点から、今後の重要な研究分野である。
• 顔認識などの下流タスクとの統合により、性能が向上する傾向が示されており、エンドツーエンドのフレームワークへの統合の可能性が示唆されている。