[论文解读] LARNet: Lie Algebra Residual Network for Face Recognition

Xiaolong Yang, Xiaohong Jia+4 more|arXiv (Cornell University)|Mar 15, 2021

Face recognition and analysis参考文献 64被引用 24

一句话总结

LARNet 提出了一种基于李代数的残差网络，将三维人脸旋转建模为卷积神经网络特征空间中的加性残差分量，从而实现姿态鲁棒的人脸识别。通过将旋转分解为旋转不变特征，并利用门控子网络学习旋转幅度，LARNet 在正面-侧脸和通用人脸识别基准测试中均达到最先进性能。

ABSTRACT

Face recognition is an important yet challenging problem in computer vision. A major challenge in practical face recognition applications lies in significant variations between profile and frontal faces. Traditional techniques address this challenge either by synthesizing frontal faces or by pose invariant learning. In this paper, we propose a novel method with Lie algebra theory to explore how face rotation in the 3D space affects the deep feature generation process of convolutional neural networks (CNNs). We prove that face rotation in the image space is equivalent to an additive residual component in the feature space of CNNs, which is determined solely by the rotation. Based on this theoretical finding, we further design a Lie Algebraic Residual Network (LARNet) for tackling pose robust face recognition. Our LARNet consists of a residual subnet for decoding rotation information from input face images, and a gating subnet to learn rotation magnitude for controlling the strength of the residual component contributing to the feature learning process. Comprehensive experimental evaluations on both frontal-profile face datasets and general face recognition datasets convincingly demonstrate that our method consistently outperforms the state-of-the-art ones.

研究动机与目标

• 为解决正面与侧脸视图之间的人脸识别姿态变化挑战。
• 从理论上利用李代数建模三维人脸旋转对卷积神经网络深层特征学习的影响。
• 设计一种新型神经网络架构，显式编码旋转信息以提升特征的鲁棒性。
• 在正面-侧脸和通用人脸识别数据集上超越现有最先进方法的性能。

提出的方法

• 利用李代数理论证明，三维人脸旋转在卷积神经网络特征空间中诱导出一个与输入图像无关的加性残差分量。
• 设计一个残差子网络，利用来自 SO(3) 李群结构的几何先验，从输入人脸图像中解码旋转信息。
• 引入一个门控子网络，学习旋转幅度，以动态控制特征学习中残差分量的强度。
• 将残差分量表述为依赖于旋转的特征空间向量，由旋转角度和轴参数化。
• 通过联合损失函数端到端训练网络，同时优化身份分类和旋转估计。
• 利用图像空间旋转与特征空间残差之间的理论等价性，对特征学习进行正则化，以实现姿态不变性。

实验结果

研究问题

• RQ1 能否利用李代数在图像空间中将三维人脸旋转数学建模为卷积神经网络特征空间中的加性残差？
• RQ2 如何在深度神经网络中有效解码并参数化旋转信息，以实现姿态鲁棒的特征学习？
• RQ3 用于旋转幅度的可学习门控机制是否能提升在姿态变化下的泛化能力？
• RQ4 所提出的李代数残差设计是否能在多样化的面部识别基准测试中持续带来性能提升？

主要发现

• 理论分析证明，三维人脸旋转在卷积神经网络特征空间中诱导出一个仅由旋转参数化的加性残差。
• LARNet 在正面-侧脸人脸识别数据集上达到最先进性能，优于先前方法。
• 该方法在多个通用人脸识别基准测试中均表现出一致的性能提升，表明其具有强大的泛化能力。
• 消融实验确认，残差子网络和门控机制对最优性能均至关重要。
• 模型对大姿态变化表现出鲁棒性，尤其在具有挑战性的侧脸到正面人脸识别任务中表现优异。
• 使用李代数提供了几何上合理的归纳偏置，增强了特征学习，且无需大规模姿态增强数据。