[论文解读] Attention-Aware Face Hallucination via Deep Reinforcement Learning

Qingxing Cao, Liang Lin+3 more|arXiv (Cornell University)|Aug 10, 2017

Advanced Image Processing Techniques参考文献 28被引用 42

一句话总结

该论文提出了一种名为Attention-FH的深度强化学习框架，用于面部幻觉重建，通过使用循环策略网络关注上下文相关的区域，按顺序增强面部各部分。通过联合优化策略网络和增强网络，利用长期全局奖励，该方法在具有大姿态和光照变化的野外人脸数据集上实现了最先进性能。

ABSTRACT

Face hallucination is a domain-specific super-resolution problem with the goal to generate high-resolution (HR) faces from low-resolution (LR) input images. In contrast to existing methods that often learn a single patch-to-patch mapping from LR to HR images and are regardless of the contextual interdependency between patches, we propose a novel Attention-aware Face Hallucination (Attention-FH) framework which resorts to deep reinforcement learning for sequentially discovering attended patches and then performing the facial part enhancement by fully exploiting the global interdependency of the image. Specifically, in each time step, the recurrent policy network is proposed to dynamically specify a new attended region by incorporating what happened in the past. The state (i.e., face hallucination result for the whole image) can thus be exploited and updated by the local enhancement network on the selected region. The Attention-FH approach jointly learns the recurrent policy network and local enhancement network through maximizing the long-term reward that reflects the hallucination performance over the whole image. Therefore, our proposed Attention-FH is capable of adaptively personalizing an optimal searching path for each face image according to its own characteristic. Extensive experiments show our approach significantly surpasses the state-of-the-arts on in-the-wild faces with large pose and illumination variations.

研究动机与目标

• 解决现有面部幻觉方法将图像块独立处理、忽略面部各部分之间上下文依赖关系的局限性。
• 将面部幻觉建模为一种受人类视觉注意机制启发的序列决策过程，每一步聚焦于相关面部区域。
• 利用深度强化学习，联合优化用于区域选择的循环策略网络和用于超分辨率的局部增强网络。
• 通过在每个增强步骤中引入全局上下文和先前已增强区域的历史信息，提升幻觉重建质量。
• 在具有大姿态和光照变化的非约束性、野外人脸数据集上实现卓越性能。

提出的方法

• 基于LSTM构建循环策略网络，根据当前人脸整体状态和历史动作动态选择下一个需要增强的面部区域。
• 将状态定义为当前已幻觉化的人脸图像，每次局部增强操作后逐步更新。
• 采用局部增强网络（8层CNN）对选定图像块执行超分辨率，损失函数基于面部部件质量。
• 将问题形式化为马尔可夫决策过程（MDP），其中智能体通过最大化反映整体幻觉性能的全局奖励来优化。
• 通过策略梯度方法联合训练策略网络和增强网络，利用长期奖励引导优化过程。
• 记忆历史动作以防止重复或低效的注意力循环，提升训练稳定性和收敛性。

实验结果

研究问题

• RQ1 基于强化学习的序列化注意力机制是否能通过建模面部各部分之间的相互依赖关系，提升面部幻觉重建性能？
• RQ2 将全局上下文和先前已增强区域的历史信息引入，对超分辨率人脸的质量有何影响？
• RQ3 使用学习到的注意力策略是否优于随机或固定图像块选择策略？
• RQ4 所提方法在具有大姿态和光照变化的野外人脸数据上具有多大程度的泛化能力？
• RQ5 与端到端反向传播方法相比，基于强化学习的方法在序列化幻觉重建中的性能表现如何？

主要发现

• 所提出的Attention-FH框架在LFW数据集上达到最先进性能，在4×和8×超分辨率任务中分别优于先前方法0.67 dB和0.46 dB。
• 若采用随机选择图像块而非学习到的策略，4×和8×超分辨率任务的性能分别下降1.33 dB和0.41 dB，证明了注意力机制的有效性。
• 仅将原始低分辨率图像输入策略网络（不依赖先前增强结果）时，4×和8×任务的性能分别下降0.83 dB和0.25 dB，证实了上下文反馈的重要性。
• 采用强化学习的模型显著优于使用空间变换网络的端到端反向传播基线模型，表明长期奖励设计的优势。
• 智能体生成的注意力序列遵循人类视觉的自然模式：先增强背景区域，再依次处理面部组件（耳、眼、鼻、口），最后细化高频细节。
• 尽管经过多轮处理，该方法仍保持计算高效，单张128×128图像在TITAN X上仅需约1.5秒，与单次处理方法（如VDSR）相当。