[论文解读] HIH: Towards More Accurate Face Alignment via Heatmap in Heatmap

Xing Lan, Qinghao Hu+3 more|arXiv (Cornell University)|Apr 7, 2021

Face recognition and analysis参考文献 47被引用 10

一句话总结

本文提出HIH，一种新颖的热力图嵌套热力图表示方法，通过两个嵌套的热力图——整数热力图与小数热力图——联合建模整数坐标与亚像素坐标，以减少人脸对齐中的量化误差。通过将亚像素回归重新表述为具有分布感知软损失的区间分类，HIH实现了最先进性能，在WFLW上达到4.08 NME，在COFW上达到3.21 NME。

ABSTRACT

Heatmap-based regression overcomes the lack of spatial and contextual information of direct coordinate regression, and has revolutionized the task of face alignment. Yet it suffers from quantization errors caused by neglecting subpixel coordinates in image resizing and network downsampling. In this paper, we first quantitatively analyze the quantization error on benchmarks, which accounts for more than 1/3 of the whole prediction errors for state-of-the-art methods. To tackle this problem, we propose a novel Heatmap In Heatmap(HIH) representation and a coordinate soft-classification (CSC) method, which are seamlessly integrated into the classic hourglass network. The HIH representation utilizes nested heatmaps to jointly represent the coordinate label: one heatmap called integer heatmap stands for the integer coordinate, and the other heatmap named decimal heatmap represents the subpixel coordinate. The range of a decimal heatmap makes up one pixel in the corresponding integer heatmap. Besides, we transfer the offset regression problem to an interval classification task, and CSC regards the confidence of the pixel as the probability of the interval. Meanwhile, CSC applying the distribution loss leverage the soft labels generated from the Gaussian distribution function to guide the offset heatmap training, which makes it easier to learn the distribution of coordinate offsets. Extensive experiments on challenging benchmark datasets demonstrate that our HIH can achieve state-of-the-art results. In particular, our HIH reaches 4.08 NME (Normalized Mean Error) on WFLW, and 3.21 on COFW, which exceeds previous methods by a significant margin.

研究动机与目标

• 量化量化误差对最先进人脸对齐方法的影响。
• 解决网络下采样过程中亚像素坐标丢失导致的精度损失问题。
• 提出一种可学习的端到端解决方案，联合建模整数坐标与亚像素坐标。
• 通过将回归转换为带软标签的区间分类，改进亚像素估计。
• 在不依赖后处理或人工设计的前提下，实现最先进的人脸对齐精度。

提出的方法

• HIH采用双热力图表示：整数热力图用于最近像素，小数热力图用于该像素内的亚像素偏移。
• 小数热力图在空间上与整数热力图的一个像素对齐，并将该像素内的相对位置编码为概率分布。
• 坐标软分类（CSC）将小数热力图中的每个网格视为离散区间类别，其置信度表示该区间的概率。
• 使用从高斯函数导出的软标签应用分布损失，以更好地优化亚像素偏移预测。
• 该方法无缝集成到沙漏网络架构中，保持与标准热力图训练的兼容性。
• 最终关键点预测结合了整数热力图峰值处的整数坐标与小数热力图概率分布的亚像素偏移。

实验结果

研究问题

• RQ1 在最先进的人脸对齐模型中，下采样引入的量化误差有多大？
• RQ2 嵌套热力图表示能否在标准热力图回归之外进一步提升亚像素精度？
• RQ3 将亚像素回归转化为带软标签的区间分类是否能带来更好的泛化性与精度？
• RQ4 与现有基于偏移量或软-argmax的方法相比，所提出的HIH方法在精度与端到端可学习性方面表现如何？
• RQ5 所提出的方法能否在不依赖后处理或人工设计的前提下实现最先进性能？

主要发现

• 量化误差占最先进人脸对齐方法总预测误差的三分之一以上，标准256×256下采样至64×64时，WFLW上的NME贡献为1.285，300W上的NME贡献为1.111。
• HIH在WFLW基准上实现了4.08 NME的新最先进结果，显著优于先前方法。
• 在COFW数据集上，HIH达到3.21 NME，相较于先前方法有显著提升。
• 消融研究证实，HIH表示法与坐标软分类损失的结合带来了最显著的精度提升。
• HIH在低分辨率热力图设置下优于DARK、HRNet和SLPT等成熟基线模型，此时量化效应最为严重。
• 该方法在WFLW、COFW和300W等多样化基准上表现出鲁棒性，证实了其泛化能力。