[论文解读] Facial Landmarks Detection by Self-Iterative Regression based Landmarks-Attention Network

Tao Hu, Honggang Qi+2 more|arXiv (Cornell University)|Mar 18, 2018

Face recognition and analysis参考文献 38被引用 7

一句话总结

该论文提出了一种自迭代回归（SIR）框架，结合关键点注意力网络（LAN），用于面部关键点检测。该方法使用单一深度回归器通过迭代方式逐步优化预测结果，而非采用多个级联回归器。该方法仅用372万个参数即达到最先进性能，显著降低了模型复杂度和内存占用，同时保持高精度。

ABSTRACT

Cascaded Regression (CR) based methods have been proposed to solve facial landmarks detection problem, which learn a series of descent directions by multiple cascaded regressors separately trained in coarse and fine stages. They outperform the traditional gradient descent based methods in both accuracy and running speed. However, cascaded regression is not robust enough because each regressor's training data comes from the output of previous regressor. Moreover, training multiple regressors requires lots of computing resources, especially for deep learning based methods. In this paper, we develop a Self-Iterative Regression (SIR) framework to improve the model efficiency. Only one self-iterative regressor is trained to learn the descent directions for samples from coarse stages to fine stages, and parameters are iteratively updated by the same regressor. Specifically, we proposed Landmarks-Attention Network (LAN) as our regressor, which concurrently learns features around each landmark and obtains the holistic location increment. By doing so, not only the rest of regressors are removed to simplify the training process, but the number of model parameters is significantly decreased. The experiments demonstrate that with only 3.72M model parameters, our proposed method achieves the state-of-the-art performance.

研究动机与目标

• 为解决级联回归方法的局限性，如计算成本高以及因误差传播导致的鲁棒性不足。
• 通过用单一自迭代回归器替代多个回归器，降低深度学习方法在人脸关键点检测中的模型复杂度和参数数量。
• 通过专用注意力机制聚焦局部关键点外观特征，提升特征表示能力。
• 通过在多个迭代中复用同一回归器，简化训练与推理过程。

提出的方法

• SIR框架通过训练单一深度回归器，学习从粗到细阶段的下降方向，利用同一模型迭代更新参数。
• 关键点注意力网络（LAN）独立提取每个关键点周围的局部特征，增强单个关键点的判别能力。
• 各关键点的特征并行处理后融合，用于预测整体关键点位置的增量。
• 训练过程中在参数空间采用随机高斯采样，以模拟多样化的初始化，提升鲁棒性。
• 推理过程中反复调用同一回归器，每次调用均对关键点坐标进行优化。
• 模型通过在预测关键点偏移量上使用回归损失，实现端到端训练。

实验结果

研究问题

• RQ1 单一自迭代回归器是否能在人脸关键点检测中实现与多个级联回归器相当或更优的性能？
• RQ2 通过注意力机制聚焦局部关键点特征，如何提升检测精度并降低模型复杂度？
• RQ3 在精度与内存效率之间权衡，自迭代优化过程的最优迭代次数是多少？
• RQ4 参数空间中采样策略的选择如何影响SIR框架的鲁棒性与收敛性？

主要发现

• 所提出的SIR方法在300-W基准测试中达到5.04%的归一化均误差（NME），优于基线级联回归方法（6.23%）以及参数量更大的最先进方法。
• SIR模型仅含372万个参数，内存占用15.6MB，显著低于其他深度学习方法，如MDM（322.3MB）和RAR（62.6MB以上）。
• 关键点注意力网络（LAN）显著优于堆叠块特征提取方法（SIR-Stack），证明了独立关键点特征学习的优势。
• 增加迭代次数可提升精度，至四次迭代后性能趋于稳定；而SIR保持恒定内存占用，基线CR方法的内存随迭代次数增加而上升。
• 该方法对高斯采样超参数选择具有鲁棒性，采样分布标准差σ = 0.2时性能最优。
• 定性结果表明，该方法在多样化的数据集（包括HELEN、LFPW、IBUG和300-W竞赛集）中均能实现准确的关键点定位。