[论文解读] Illumination-invariant face recognition from a single image across extreme pose using a dual dimension AAM ensemble in the thermal infrared spectrum

Reza Shoja Ghiass, Ognjen Arandjelović+2 more|arXiv (Cornell University)|Jun 7, 2013

Face recognition and analysis参考文献 26被引用 5

一句话总结

本文提出一种双维AAM集成方法，用于在极端姿态下仅使用单张热红外（IR）图像实现光照不变的人脸识别。通过使用针对姿态和区域特化的AAM来合成中性表情、平均视角的人脸，并结合多尺度血管结构响应滤波器以实现鲁棒的血管网络表征，该方法在大规模公开热红外数据库和新获取的运动视频数据集上均实现了完美的识别性能，即使在多图像训练条件下也优于当前最先进方法。

ABSTRACT

Over the course of the last decade, infrared (IR) and particularly thermal IR imaging based face recognition has emerged as a promising complement to conventional, visible spectrum based approaches which continue to struggle when applied in practice. While inherently insensitive to visible spectrum illumination changes, IR data introduces specific challenges of its own, most notably sensitivity to factors which affect facial heat emission patterns, e.g. emotional state, ambient temperature, and alcohol intake. In addition, facial expression and pose changes are more difficult to correct in IR images because they are less rich in high frequency detail which is an important cue for fitting any deformable model. In this paper we describe a novel method which addresses these major challenges. Specifically, when comparing two thermal IR images of faces, we mutually normalize their poses and facial expressions by using an active appearance model (AAM) to generate synthetic images of the two faces with a neutral facial expression and in the same view (the average of the two input views). This is achieved by piecewise affine warping which follows AAM fitting. A major contribution of our work is the use of an AAM ensemble in which each AAM is specialized to a particular range of poses and a particular region of the thermal IR face space. Combined with the contributions from our previous work which addressed the problem of reliable AAM fitting in the thermal IR spectrum, and the development of a person-specific representation robust to transient changes in the pattern of facial temperature emissions, the proposed ensemble framework accurately matches faces across the full range of yaw from frontal to profile, even in the presence of scale variation (e.g. due to the varying distance of a subject from the camera).

研究动机与目标

• 为解决现有方法在热红外人脸识别中因姿态与表情变化而性能受限的问题。
• 克服热红外图像中缺乏高频纹理细节导致AAM拟合不可靠的问题。
• 开发对环境温度或情绪状态引起的面部热辐射模式瞬时变化具有鲁棒性的表征方法。
• 实现在从正面到侧脸的宽泛偏航角范围内，仅凭单张热红外图像实现准确的人脸识别。
• 在具有显著姿态与表情变化的大规模真实世界热红外数据集上，验证该方法的有效性。

提出的方法

• 该方法采用主动外观模型（AAM）的集成，每个AAM针对热红外人脸空间中的特定姿态范围和区域进行专门化设计，以提升拟合精度与泛化能力。
• 为实现姿态与表情归一化，AAM在拟合后通过分段仿射变换生成统一平均视角与中性表情的合成图像。
• 预处理阶段增强了判别性信息含量，以缓解因热红外图像纹理稀疏导致的AAM拟合收敛问题。
• 基于多尺度血管结构响应滤波器的个体特定表征，提取皮下血管网络特征，该特征对人脸温度模式变化具有鲁棒性。
• 通过在多尺度下建模对血管状结构的信心，该血管结构响应滤波器实现了尺度不变且对分辨率变化鲁棒的特征提取。
• 该框架结合基于AAM的归一化与血管网络表征，实现了在极端姿态变化与环境条件下的高精度匹配。

实验结果

研究问题

• RQ1 双维AAM集成能否有效归一化热红外人脸图像中的姿态与表情变化，从而实现仅凭单张图像的准确识别？
• RQ2 如何在缺乏高频纹理细节的热红外图像中稳定AAM拟合过程？
• RQ3 基于多尺度血管结构响应的表征能否对人脸热辐射模式的瞬时变化保持鲁棒性？
• RQ4 在具有极端姿态与表情变化的大规模热红外数据集上，该方法是否优于当前最先进方法？
• RQ5 当仅使用每名被试单张图像进行训练，且无多视角训练数据时，该方法是否仍具有效性？

主要发现

• 在包含显著姿态与表情变化的最大规模公开热红外人脸数据库上，所提方法实现了完美的识别性能（等于100%等错误率）。
• 在新获取的热红外运动视频数据集上，该方法同样实现了完美识别性能，表明其对动态头部运动与表情变化具有强鲁棒性。
• 受试者工作特征曲线（ROC曲线）显示，半侧脸姿态范围（30–60°偏航角）的判别性最强，表现为该范围内曲线最接近理想状态。
• 即使在采用多张涵盖多种头部视角图像进行训练的最先进方法对比下，本方法仍显著优于现有方法。
• 类间相似性分布与类内分布明显分离，表明所提表征具有强大的判别能力。
• 在集成框架中使用针对姿态与区域特化的AAM，有效缓解了拟合误差，并提升了在多样化热红外外观下的泛化性能。