[论文解读] Deep multi-frame face super-resolution

Evgeniya Ustinova, Victor Lempitsky|arXiv (Cornell University)|Sep 10, 2017

Advanced Image Processing Techniques参考文献 10被引用 7

一句话总结

本文提出了一种用于多帧人脸超分辨率的端到端深度神经网络，通过联合优化人脸对齐、超分辨率和识别，利用连续帧实现。通过引入人脸形变子网络处理亚像素运动，并结合识别感知损失，该方法在YouTube Faces数据集上实现了最先进的面部验证性能，使用25帧和形变处理时，100%等错误率（EER）达到85.20%，显著优于单帧基线方法和先前方法。

ABSTRACT

Face verification and recognition problems have seen rapid progress in recent years, however recognition from small size images remains a challenging task that is inherently intertwined with the task of face super-resolution. Tackling this problem using multiple frames is an attractive idea, yet requires solving the alignment problem that is also challenging for low-resolution faces. Here we present a holistic system for multi-frame recognition, alignment, and superresolution of faces. Our neural network architecture restores the central frame of each input sequence additionally taking into account a number of adjacent frames and making use of sub-pixel movements. We present our results using the popular dataset for video face recognition (YouTube Faces). We show a notable improvement of identification score compared to several baselines including the one based on single-image super-resolution.

研究动机与目标

• 通过在统一的深度学习框架中联合求解超分辨率、对齐和识别，解决低分辨率人脸识别的挑战。
• 克服单图像超分辨率的局限性，后者常导致人脸幻觉和身份特异性细节的丢失。
• 通过利用多帧视频中的时间信息并实现精确的亚像素对齐，提升低分辨率人脸的识别准确率。
• 开发一个整体系统，集成人脸形变和识别感知损失，以在超分辨率过程中保留个体特异性特征。
• 证明多帧超分辨率结合恰当对齐，显著优于单帧方法及现有最先进方法，在YouTube Faces基准上表现优异。

提出的方法

• 提出一种深度神经网络架构，处理25帧序列，以中间帧为目标进行超分辨率重建。
• 引入一个人脸形变子网络，通过亚像素精度的光流估计，对相邻帧进行成对并行对齐。
• 使用共享的特征提取主干网络（类似VGG）从所有帧中提取特征，随后进行形变特征聚合以实现重建。
• 采用重建模块，融合来自多帧的形变特征，生成最终的高分辨率输出。
• 使用多组件损失函数进行端到端训练，结合感知损失、深层特征（pool3, pool4, fc7）的L2损失以及识别感知损失，以保留身份特异性细节。
• 应用数据增强和预处理，使用人脸检测器裁剪并对齐输入帧，确保输入质量的一致性。

实验结果

研究问题

• RQ1 在深度神经网络中联合优化超分辨率、对齐和识别，是否能显著提升低分辨率输入下的面部识别性能，相比孤立方法？
• RQ2 在亚像素精度对齐下引入多帧，是否能显著提升超分辨率质量与识别准确率，相比单帧方法？
• RQ3 建模帧间非刚性运动的人脸形变模块，在多大程度上提升了重建保真度与身份保留能力？
• RQ4 与最先进的单图像超分辨率技术相比，该方法在视觉质量与识别性能方面表现如何？
• RQ5 识别准确率的提升是否源于对身份特异性特征的更好保留，如通过深层特征相似性（例如fc7层的L2距离）衡量？

主要发现

• 所提方法在25帧和人脸形变处理下（f25 warp）于YouTube Faces数据集上达到85.20%的100%-EER，显著优于单帧基线方法（f1）的82.40%。
• 引入人脸形变子网络后，识别性能得到可测量的提升，f25 warp达到85.20% EER，而无形变的f25为83.60%。
• 用户研究结果表明，参与者一致更偏好f25 warp模型生成的图像，相较于f25和f1，表明其具有更优的感知质量与身份相似度。
• 该模型在重建任务上达到29.12 dB的PSNR，fc7层的L2特征距离为0.3695，表明身份相关特征得到良好保留。
• 与最先进的单图像超分辨率方法[21]相比，该方法在相似评估条件下实现更高的100%-EER（85.14% vs. 82.32%）。
• 消融实验表明，仅增加帧数而不进行对齐（f25）无法带来优于单帧超分辨率（f1）的性能，凸显了形变模块对性能提升的必要性。