[論文レビュー] DifFace: Blind Face Restoration with Diffused Error Contraction

Zongsheng Yue, Chen Change Loy|arXiv (Cornell University)|Dec 13, 2022

Facial Nerve Paralysis Treatment and Research被引用数 14

ひとこと要約

DifFaceは、複雑な損失関数を必要とせず、事前学習済みの拡散モデルを活用して低品質な入力から高品質な顔画像を推定する、画期的なブラインド顔復元手法を提案する。低品質画像から中間の拡散状態への遷移分布をモデル化し、その後で拡散モデルの逆過程を用いて精緻化することで、DifFaceは未知で複雑な劣化に対して強力な性能を発揮する。L1損失のみで監視されるため、最先端の手法を上回る性能を、復元およびインpaintingタスクの両方で達成する。

ABSTRACT

While deep learning-based methods for blind face restoration have achieved unprecedented success, they still suffer from two major limitations. First, most of them deteriorate when facing complex degradations out of their training data. Second, these methods require multiple constraints, e.g., fidelity, perceptual, and adversarial losses, which require laborious hyper-parameter tuning to stabilize and balance their influences. In this work, we propose a novel method named DifFace that is capable of coping with unseen and complex degradations more gracefully without complicated loss designs. The key of our method is to establish a posterior distribution from the observed low-quality (LQ) image to its high-quality (HQ) counterpart. In particular, we design a transition distribution from the LQ image to the intermediate state of a pre-trained diffusion model and then gradually transmit from this intermediate state to the HQ target by recursively applying a pre-trained diffusion model. The transition distribution only relies on a restoration backbone that is trained with $L_2$ loss on some synthetic data, which favorably avoids the cumbersome training process in existing methods. Moreover, the transition distribution can contract the error of the restoration backbone and thus makes our method more robust to unknown degradations. Comprehensive experiments show that DifFace is superior to current state-of-the-art methods, especially in cases with severe degradations. Code and model are available at https://github.com/zsyOAOA/DifFace.

研究の動機と目的

• 既存のブラインド顔復元手法が、不一致な劣化モデルに依存しているため、未知または複雑な劣化に対して苦労するという限界を解決すること。
• 敵対的損失や知覚的損失など、多数のハイパーパrameterを必要とする手動で設計された複雑な損失関数を排除すること。
• 微調整や再学習を必要とせず、事前学習済みの拡散モデルの事前知識を活用する、学習効率の良い手法を開発すること。
• 拡散された中間表現を通じて誤差を収縮させることで、重度の劣化に対してより頑健な性能を実現すること。
• 統一的で原理的である事後分布推論フレームワークを用いて、ブラインド顔復元と顔インpaintingの両方で優れた性能を達成すること。

提案手法

• DifFaceは、低品質な入力 y₀ に対して高品質な顔画像 x₀ の事後分布 p(x₀|y₀) をモデル化する際、中間の拡散状態 xₙ を用いた遷移分布 p(xₙ|y₀) を導入する。
• 遷移分布は、合成データ上でL1損失のみで学習された復元バックボーンによって学習され、効率的で安定した学習が可能になる。
• 事前学習済みの拡散モデルの逆マルコフ連鎖を活用して、xₙ から x₀ を生成することで、再学習を伴わず豊富な画像の事前知識を活用する。
• スケーリング係数が1未満の拡散に類似したプロセスを適用することで、低品質入力と高品質ターゲットの間の残差誤差を収縮させる。
• インpaintingタスクにおけるマスク領域と非マスク領域の整合性を向上させるために、推論時にハイパーパrameter γ を用いた最適化戦略を導入する。
• DDIMサンプリングを用いることで高速化され、20ステップで推論時間を短縮し、性能の低下を最小限に抑え、CodeFormerと同等の推論速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 複雑な損失関数や拡散モデルの再学習を必要としない拡散ベース手法が、ブラインド顔復元において頑健に機能するか。
• RQ2 遷移分布が誤差を収縮させ、未知の劣化に対して頑健性を向上させる効果はどの程度か。
• RQ3 訓練時に見られなかった実世界の複雑な劣化に、この手法はどれほど一般化できるか。
• RQ4 ハイパーパrameter γ を用いた提案された最適化戦略が、顔インpaintingにおける生成結果の整合性に与える影響は。
• RQ5 復元品質を損なわず、推論速度をどの程度向上できるか。

主な発見

• DifFaceは、ブラインド顔復元および顔インpaintingの両タスクで、最先端の手法を上回る性能を発揮する。特に重度の劣化や大規模な遮蔽に対して顕著である。
• CelebA-Testデータセットでは、DifFaceは0.92秒（20ステップのDDIM）という競争力ある推論速度を達成し、DFFNetとCodeFormerの間の速度に位置づけられ、CodeFormerと同等の性能を維持する。
• 複雑な劣化に対して優れた頑健性を示し、GANベースの手法が失敗する状況でも、高い知覚的品質と構造的一致性を維持する。
• 復元バックボーンの学習に単一のL1損失を用いることで、マルチ損失アプローチと比較して学習パイプラインが大幅に簡素化される。
• γ > 0 の場合、γ を用いた最適化戦略は、マスク領域と非マスク領域の整合性を効果的に低減する。
• 劣化モデルが不一致であっても、実世界データへの一般化能力を示しており、強い汎用性を有する。