[论文解读] Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression

Xinyao Wang, Liefeng Bo+1 more|arXiv (Cornell University)|Apr 16, 2019

Face recognition and analysis参考文献 71被引用 41

一句话总结

引入自适应Wing损失用于人脸对齐的热图回归，外加加权损失图和带边界信息的CoordConv以改进关键点定位；在COFW、300W和WFLW数据集上达到最先进性能。

ABSTRACT

Heatmap regression with a deep network has become one of the mainstream approaches to localize facial landmarks. However, the loss function for heatmap regression is rarely studied. In this paper, we analyze the ideal loss function properties for heatmap regression in face alignment problems. Then we propose a novel loss function, named Adaptive Wing loss, that is able to adapt its shape to different types of ground truth heatmap pixels. This adaptability penalizes loss more on foreground pixels while less on background pixels. To address the imbalance between foreground and background pixels, we also propose Weighted Loss Map, which assigns high weights on foreground and difficult background pixels to help training process focus more on pixels that are crucial to landmark localization. To further improve face alignment accuracy, we introduce boundary prediction and CoordConv with boundary coordinates. Extensive experiments on different benchmarks, including COFW, 300W and WFLW, show our approach outperforms the state-of-the-art by a significant margin on various evaluation metrics. Besides, the Adaptive Wing loss also helps other heatmap regression tasks. Code will be made publicly available at https://github.com/protossw512/AdaptiveWingLoss.

研究动机与目标

• 激励并分析用于人脸关键点定位的热图回归的损失函数。
• 提出自适应翼损失（Adaptive Wing loss），使其对真值像素强度自适应，以聚焦前景像素和困难背景像素。
• 引入加权损失图，以在训练中平衡前景像素和背景像素的贡献。
• 结合边界信息和带边界坐标的 CoordConv 以提升坐标感知学习。
• 在标准基准上展示最先进的性能，并验证对相关热图回归任务的迁移能力。

提出的方法

• 利用影响论和真值像素强度分析热图回归的理想损失性质。
• 定义带有由参数（omega、theta、epsilon、alpha）控制的自适应非线性区域且平滑过渡到线性区域的自适应翼（AWing）损失。
• 引入一个加权损失图，使用膨胀的真值热图来强调前景和困难背景像素（权重 W）。
• 添加一个辅助的边界预测通道以捕捉全局边界信息，并通过带边界编码坐标（B_x, B_y）的 CoordConv 将其融合，从而增强关键点定位。
• 利用带坐标编码和边界感知通道的堆叠 Hourglass（HG）骨干网络；使用 RMSProp 训练并进行常规数据增强；在 COFW、300W 和 WFLW 上进行评估。

实验结果

研究问题

• RQ1 一个能对真值热图像素值自适应曲率的损失函数是否能改善面部关键点的热图回归？
• RQ2 通过加权损失图平衡前景和困难背景像素是否能提升收敛性及定位准确性？
• RQ3 将边界信息和 CoordConv 编码整合是否能提高关键点定位的准确性？
• RQ4 与以往方法相比，所提自适应翼损在标准人脸对齐基准上的表现如何？
• RQ5 自适应翼损对其他热图回归任务（如人体姿态估计）是否有帮助？

主要发现

• AWing 损失提升了热图回归质量和关键点定位，在 COFW、300W、WFLW 数据集上超越了先前方法。
• 在 COFW 上，该方法将 10% 的 NME 失败率从 3.73% 降低到 0.99%。
• 在 300W 上，AWing 在常规、困难和全面测试集上都达到最先进的结果，显著降低 NME、提高 AUC。
• 在 WFLW 的各子集上，AWing 取得最佳结果，显著降低失败率并提高 AUC；总体 NME 和 AUC 的提升也相当可观。
• 自适应翼损在人体姿态估计任务（LSP）中也显示出优势，相较于 MSE 基线提升了 PCK@0.2。
• 消融研究表明，AW + 加权损失图 + 边界整合 + CoordConv + 边界坐标的组合带来逐步提升，其中单独的 AW 提供了最显著的改进。