[论文解读] Can a biologically-plausible hierarchy effectively replace face detection, alignment, and recognition pipelines?

Qianli Liao, Joel Z. Leibo+2 more|arXiv (Cornell University)|Nov 16, 2013

Face recognition and analysis参考文献 36被引用 13

一句话总结

该论文提出了一种生物上合理的前馈分层网络，通过基于局部敏感哈希的投票机制（称为‘碰撞共识’，CoC）隐式实现不变性，从而替代传统的面部检测、对齐和识别流程。该系统在未对齐的LFW数据集上实现了87.55%的准确率——与在对齐数据上达到最先进水平的模型相当——且无需显式检测或对齐，同时在更具挑战性的数据集（如LFW-jittered和SUFR-W）上表现出稳健的泛化能力。

ABSTRACT

The standard approach to unconstrained face recognition in natural photographs is via a detection, alignment, recognition pipeline. While that approach has achieved impressive results, there are several reasons to be dissatisfied with it, among them is its lack of biological plausibility. A recent theory of invariant recognition by feedforward hierarchical networks, like HMAX, other convolutional networks, or possibly the ventral stream, implies an alternative approach to unconstrained face recognition. This approach accomplishes detection and alignment implicitly by storing transformations of training images (called templates) rather than explicitly detecting and aligning faces at test time. Here we propose a particular locality-sensitive hashing based voting scheme which we call "consensus of collisions" and show that it can be used to approximate the full 3-layer hierarchy implied by the theory. The resulting end-to-end system for unconstrained face recognition operates on photographs of faces taken under natural conditions, e.g., Labeled Faces in the Wild (LFW), without aligning or cropping them, as is normally done. It achieves a drastic improvement in the state of the art on this end-to-end task, reaching the same level of performance as the best systems operating on aligned, closely cropped images (no outside training data). It also performs well on two newer datasets, similar to LFW, but more difficult: LFW-jittered (new here) and SUFR-W.

研究动机与目标

• 探究生物上合理的前馈分层网络是否能有效替代无约束人脸识别中的标准检测-对齐-识别（DAR）流程。
• 解决DAR流程的局限性，包括其缺乏生物合理性以及在检测和对齐阶段引入的数据集偏差。
• 开发一种可扩展的端到端系统，直接对完整、未对齐、未裁剪的图像执行人脸识别，无需依赖预处理步骤。
• 通过在新引入的更具挑战性的数据集（如LFW-jittered和SUFR-W）上进行测试，评估系统对分布偏移的鲁棒性。
• 证明分层模板系统可在无需显式对齐的情况下，实现对平移、缩放和旋转的不变性，从而挑战专用检测与对齐阶段的必要性。

提出的方法

• 该系统采用受分层网络中不变性识别理论模型启发的三层前馈分层结构，将变换后的训练图像作为模板存储。
• 提出一种新颖的局部敏感哈希（LSH）方案，以高效近似空间和尺度上的完整卷积，降低计算成本。
• ‘碰撞共识’（CoC）投票机制通过在多个哈希表中识别共享特征，检测匹配模板，实现快速且鲁棒的特征匹配。
• 系统使用HOG和LBP特征作为输入，哈希码长度为28，共使用20个哈希表，生成图像的签名表示。
• 对测试图像对的第三层签名差异应用最终的RBF-SVM分类器，以计算相似度得分。
• 系统在完整、未对齐的图像上端到端进行训练，无需外部数据或预对齐，测试在LFW、LFW-jittered和SUFR-W数据集上进行。

实验结果

研究问题

• RQ1 生物上合理的前馈分层网络是否能在不使用显式检测或对齐阶段的情况下，实现具有竞争力的人脸识别性能？
• RQ2 所提出的碰撞共识（CoC）哈希方案是否能有效近似完整的分层模板匹配过程，同时保持速度与可扩展性？
• RQ3 与在对齐数据上训练的最先进系统相比，该系统在未对齐、未裁剪图像上的表现如何？
• RQ4 系统对分布偏移是否具有鲁棒性，例如在LFW-jittered和SUFR-W数据集中观察到的姿势、尺度和方向的显著变化？
• RQ5 系统是否具备跨数据集的泛化能力，表明其并非过拟合于特定数据分布？

主要发现

• 所提出的系统在未对齐的LFW数据集上实现了87.55%的准确率——与在紧密裁剪、对齐图像上运行的最佳性能系统相当——且未使用任何外部训练数据。
• 在更具挑战性的LFW-jittered数据集中，该系统在引入了大范围平移、缩放和平面内旋转变化的情况下，仍保持87.45%的准确率，而基线HOG+SVM的准确率下降至55.28%。
• 系统在跨数据集上表现出良好的泛化能力：在SUFR-W上训练并在LFW上测试，准确率为84.55%；反之亦然，表明对数据集偏差具有鲁棒性。
• 当使用HOG+LBP特征并结合RBF-SVM时，性能依然强劲，准确率达到87.55%，优于‘未对齐且未使用外部数据’类别中的最先进方法。
• 系统性能并非由于过拟合所致，因其在跨数据集和显著图像扰动下均保持高准确率。
• 结果支持如下假设：分层网络中的大模板可缓解杂乱干扰，并解释整体性人脸处理效应（如复合人脸效应）。”