[论文解读] Deep Cascaded Bi-Network for Face Hallucination

Shizhan Zhu, Sifei Liu+2 more|arXiv (Cornell University)|Jul 18, 2016

Advanced Image Processing Techniques参考文献 55被引用 46

一句话总结

本文提出了一种用于人脸幻觉的深度级联双分支网络（CBN），通过交替优化密集对应场与超分辨率重建，实现对低分辨率人脸（最小5像素眼间距）的高质量重建。通过使用由空间先验引导的门控深度双分支网络，该方法在推理速度与重建质量上均显著优于以往方法，在具有姿态与光照变化的野外低分辨率人脸数据上实现了最先进性能。

ABSTRACT

We present a novel framework for hallucinating faces of unconstrained poses and with very low resolution (face size as small as 5pxIOD). In contrast to existing studies that mostly ignore or assume pre-aligned face spatial configuration (e.g. facial landmarks localization or dense correspondence field), we alternatingly optimize two complementary tasks, namely face hallucination and dense correspondence field estimation, in a unified framework. In addition, we propose a new gated deep bi-network that contains two functionality-specialized branches to recover different levels of texture details. Extensive experiments demonstrate that such formulation allows exceptional hallucination quality on in-the-wild low-res faces with significant pose and illumination variations.

研究动机与目标

• 解决在无约束姿态与光照条件下，从极低分辨率输入（最小5像素眼间距）进行人脸幻觉重建的挑战。
• 克服人脸幻觉中的鸡肋问题：高质量重建需要准确的空间先验（如密集对应场），但这些先验在低分辨率输入下难以估计。
• 将人脸幻觉与密集对应场估计整合到统一的交替优化框架中，使两项任务相互促进。
• 设计一种门控深度双分支网络架构，利用空间先验分别处理共性纹理细节与高频面部结构，实现更精确、更逼真的幻觉重建。
• 实现快速端到端推理，无需样本库或非参数化组件，适用于低分辨率监控或移动设备的实时应用。

提出的方法

• 提出一种级联的、交替优化的框架，通过彼此输出迭代优化人脸幻觉与密集对应场估计。
• 引入一种门控深度双分支网络，包含两个专用分支：一个共性分支用于从低分辨率输入中保守恢复纹理，一个高频分支利用形变后的密集对应场合成未观测到的面部细节。
• 端到端学习一个像素级门控网络，融合两个分支的输出，优先保留共性分支的可靠特征，并在合适位置注入高频细节。
• 采用参数化、判别式模型结构，避免样本查找或非参数化操作，实现快速推理（每张图像3.84秒）。
• 在级联阶段逐步优化密集对应场，从低分辨率输入开始，随着分辨率提升持续更新，提升空间精度。
• 采用感知损失与对抗性损失联合端到端训练整个框架，以增强视觉真实感与结构保真度。

实验结果

研究问题

• RQ1 能否通过一个统一框架，交替优化密集对应场与人脸幻觉，实现在超低分辨率野外人脸上的优越性能？
• RQ2 在极端分辨率限制下，具有专用分支的门控双分支网络架构在恢复共性与高频面部细节方面的有效性如何？
• RQ3 与单阶段或固定先验方法相比，逐步优化密集对应场在多大程度上提升了幻觉质量？
• RQ4 在眼间距方面，输入人脸分辨率的下限是多少，才能实现有意义的幻觉重建？
• RQ5 纯判别式、非样本库的深度学习框架能否在人脸幻觉中同时实现高质量与快速推理，超越现有方法？

主要发现

• 所提出的CBN框架在人脸幻觉任务中达到最先进性能，PSNR与视觉质量显著优于以往方法，尤其在超低分辨率输入（5像素眼间距）下表现突出。
• 消融实验表明，所有组件——门控双分支网络、逐步优化的对应场、级联交替优化——均至关重要，任一组件移除均导致性能显著下降。
• 该方法实现仅3.84秒/张的快速推理时间，远快于现有方法（如[6]需15–20分钟，[8]需1分钟）。
• 当输入人脸分辨率低于5像素眼间距（如3像素眼间距）时，结果变得不切实际，原因在于信息不足与对应场估计不准确，表明5像素眼间距为实际可行的下限。
• 高频分支可有效合成被遮挡的面部区域（如戴墨镜时的眼睛），但门控网络有时会过度依赖该分支，导致失败案例中出现过度合成或伪影现象。
• 视觉结果表明，即使在5像素眼间距下，该方法仍能保持面部身份与结构特征，生成逼真的纹理细节与合理的视线方向，优于双三次插值与基线模型。