[论文解读] Cluster and Aggregate: Face Recognition with Large Probe Set

Minchul Kim, Feng Liu+2 more|arXiv (Cornell University)|Oct 19, 2022

Face and Expression Recognition被引用 11

一句话总结

该论文提出 CAFace，一种用于大规模人脸识别的两阶段特征融合框架，该框架在聚合之前将大量查询图像聚类为固定大小的全局聚类，从而实现在极大规模查询集（最多 12,000 帧）下高效且顺序无关的推理。该方法通过结合线性聚类与批量顺序无关的聚合，克服了注意力机制的二次方复杂度和循环神经网络（RNN）的顺序敏感性，在 IJB-B 和 IJB-S 基准测试中实现了最先进性能。

ABSTRACT

Feature fusion plays a crucial role in unconstrained face recognition where inputs (probes) comprise of a set of $N$ low quality images whose individual qualities vary. Advances in attention and recurrent modules have led to feature fusion that can model the relationship among the images in the input set. However, attention mechanisms cannot scale to large $N$ due to their quadratic complexity and recurrent modules suffer from input order sensitivity. We propose a two-stage feature fusion paradigm, Cluster and Aggregate, that can both scale to large $N$ and maintain the ability to perform sequential inference with order invariance. Specifically, Cluster stage is a linear assignment of $N$ inputs to $M$ global cluster centers, and Aggregation stage is a fusion over $M$ clustered features. The clustered features play an integral role when the inputs are sequential as they can serve as a summarization of past features. By leveraging the order-invariance of incremental averaging operation, we design an update rule that achieves batch-order invariance, which guarantees that the contributions of early image in the sequence do not diminish as time steps increase. Experiments on IJB-B and IJB-S benchmark datasets show the superiority of the proposed two-stage paradigm in unconstrained face recognition. Code and pretrained models are available in https://github.com/mk-minchul/caface

研究动机与目标

• 解决在查询集包含数以万计低质量图像的非约束条件下人脸识别中的特征融合挑战。
• 克服在处理大规模查询集（N > 1000）时自注意力机制带来的二次方计算成本。
• 消除序列推理中的顺序敏感性，即在循环模型中早期帧的影响会随时间减弱。
• 设计一种可扩展的、顺序无关的融合框架，确保在不同规模的查询集上均保持高性能。
• 通过将聚类与聚合阶段解耦并固定聚类数量 M，实现在大规模查询集上的高效推理。

提出的方法

• 提出两阶段框架：聚类网络（CN）对 N 个输入特征执行软分配至 M 个固定的全局聚类中心，确保输入顺序无关性。
• 采用增量平均法更新聚类中心，保证批量顺序无关性，并防止早期帧的贡献随时间衰减。
• 学习共享的、与输入无关的聚类中心，以确保在不同查询集上保持一致的聚类效果。
• 应用聚合网络（AGN）通过建模组内关系来融合 M 个聚类后的特征，实现在降低复杂度下的有效特征融合。
• 设计聚合阶段以实现计算高效与可扩展性，通过分批处理输入支持在大 N 下的序列推理。
• 采用可微聚类机制，支持整个 CAFace 流水线的端到端训练。

实验结果

研究问题

• RQ1 当处理极大规模查询集（N > 10,000）时，特征融合框架能否在保持性能的同时实现顺序无关性？
• RQ2 如何在避免二次方复杂度的前提下，高效建模特征之间的组内关系？
• RQ3 基于聚类的特征摘要能否同时实现可扩展性与对输入顺序的鲁棒性，适用于序列人脸识别？
• RQ4 两阶段聚类与聚合方法是否在大规模非约束人脸识别中优于基于注意力机制和循环网络的融合方法？
• RQ5 所提方法在长序列输入中，对早期帧影响衰减的缓解程度如何？

主要发现

• CAFce 在 IJB-S 和 IJB-B 基准测试中达到最先进性能，相较于简单平均（Naïve）方法，性能相对增益随查询集规模增大而提升。
• CAFce 支持最多 12,000 帧的并行融合，显著优于 RSA（最大 384 帧），得益于其线性聚类设计。
• 在 N=256 时，CAFce 保持了 64.4 倍主干网络帧率的相对推理速度，优于 RSA（3.1 倍）和 CFAN（664.2 倍），在速度与可扩展性方面均表现更优。
• 通过增量平均法实现批量顺序无关性，确保早期帧的贡献不会随时间衰减。
• CAFce 展现出优越的 GPU 显存效率，可在不发生 OOM 错误的情况下处理大规模 N 集，而注意力机制方法则无法做到。
• 通过将输入划分为较小批次并增量更新聚类中心，该框架实现了大 N 下的序列推理。