[论文解读] Blind Face Restoration via Deep Multi-scale Component Dictionaries

Xiaoming Li, Chaofeng Chen+4 more|arXiv (Cornell University)|Aug 2, 2020

Advanced Image Processing Techniques参考文献 47被引用 14

一句话总结

该论文提出 DFDNet，一种盲面部分辨率恢复方法，通过使用在高质量人脸图像上通过 K-means 学习得到的深层多尺度组件字典，引导恢复过程，而无需依赖身份匹配的参考图像。通过采用组件特定的自适应实例归一化（CAdaIN）和基于置信度分数的融合机制，模型以渐进式、从粗到细的方式将字典簇中的高频细节传递到退化输入中，从而在真实低质量图像上实现了最先进（SOTA）的性能，且无需身份特定的参考图像。

ABSTRACT

Recent reference-based face restoration methods have received considerable attention due to their great capability in recovering high-frequency details on real low-quality images. However, most of these methods require a high-quality reference image of the same identity, making them only applicable in limited scenes. To address this issue, this paper suggests a deep face dictionary network (termed as DFDNet) to guide the restoration process of degraded observations. To begin with, we use K-means to generate deep dictionaries for perceptually significant face components (\ie, left/right eyes, nose and mouth) from high-quality images. Next, with the degraded input, we match and select the most similar component features from their corresponding dictionaries and transfer the high-quality details to the input via the proposed dictionary feature transfer (DFT) block. In particular, component AdaIN is leveraged to eliminate the style diversity between the input and dictionary features (\eg, illumination), and a confidence score is proposed to adaptively fuse the dictionary feature to the input. Finally, multi-scale dictionaries are adopted in a progressive manner to enable the coarse-to-fine restoration. Experiments show that our proposed method can achieve plausible performance in both quantitative and qualitative evaluation, and more importantly, can generate realistic and promising results on real degraded images without requiring an identity-belonging reference. The source code and models are available at \url{https://github.com/csxmli2016/DFDNet}.

研究动机与目标

• 为解决基于参考图像的面部恢复方法依赖高质量、身份匹配的参考图像这一局限性。
• 开发一种灵活且可泛化的面部恢复框架，适用于身份匹配参考图像不可用的真实世界场景。
• 通过学习到的深层字典，利用具有感知显著性的面部组件（如眼睛、鼻子、嘴巴）作为参考候选，提升恢复质量。
• 通过组件特定的归一化和基于置信度的融合机制，减少退化输入与字典特征之间的分布偏移。
• 通过渐进式多尺度字典集成，实现从粗到细的恢复过程。

提出的方法

• 对高质量人脸图像的多尺度特征应用 K-means 聚类，构建左眼、右眼、鼻子和嘴巴组件的深层字典。
• 使用 RoIAlign 从面部关键点裁剪出组件特定的特征，确保字典学习过程中的空间对齐。
• 组件 AdaIN（CAdaIN）对字典特征进行归一化，以减少输入与字典特征之间在风格（如光照、肤色）上的差异。
• 字典特征迁移（DFT）模块通过内积相似度匹配最相似的字典簇，并利用学习到的置信度分数将字典特征与输入特征融合。
• 在多个解码器块中渐进式地应用多尺度字典，以实现高频细节的从粗到细恢复。
• 最终模型采用类似 U-Net 的架构，在不同尺度上集成 SFT 增强模块和 DFT 模块，以提升真实感和细节恢复能力。

实验结果

研究问题

• RQ1 从多样化身份中学习到的深层组件字典，能否替代面部恢复中对身份特定高质量参考图像的需求？
• RQ2 组件特定的自适应实例归一化（CAdaIN）在对齐退化输入与字典特征之间分布偏移方面的有效性如何？
• RQ3 渐进式多尺度字典集成对恢复质量与细节恢复的影响是什么？
• RQ4 基于置信度的特征融合如何提升盲面部分辨率恢复的鲁棒性与真实感？
• RQ5 所提方法能否在无需任何身份匹配参考的情况下，泛化到真实世界中的低质量图像？

主要发现

• 在 VggFace2 数据集上，DFDNet 在 ×4 超分辨率任务中实现了 27.54 的 PSNR 和 0.923 的 SSIM，优于基线的参考图像方法。
• 使用 256 个字典簇的模型（Ours(#256)）在推理成本更低的情况下实现了接近最优的性能，优于 512 个簇的设置，具有更高的部署效率。
• 移除 CAdaIN 导致 PSNR 下降超过 2.0 dB，证明其在处理输入与字典特征间风格差异方面具有关键作用。
• 置信度分数机制提升了特征融合效果，减少了伪影并更好地保持了身份一致性，尤其在低退化情况下表现更优。
• 视觉对比显示，Ours(#256) 在清晰度、真实感和面部细节丰富度方面优于 Ours(#16) 和 Ours(#64)，且失真更少。
• 该模型在真实世界退化图像上表现出良好的泛化能力，无需任何身份匹配参考即可生成合理且逼真的输出。