[논문 리뷰] Cluster and Aggregate: Face Recognition with Large Probe Set

Minchul Kim, Feng Liu외 2명|arXiv (Cornell University)|2022. 10. 19.

Face and Expression Recognition인용 수 11

한 줄 요약

이 논문은 대규모 얼굴 인식을 위한 이중 단계 특징 융합 프레임워크인 CAFace를 제안한다. 이는 고용량의 프로브 이미지를 고정된 크기의 전역 클러스터로 클러스터링한 후 융합함으로써, 매우 큰 프로브 세트(최대 12,000 프레임)에서도 효율적이고 순서에 민감하지 않은 추론을 가능하게 한다. 선형 클러스터링과 배치 순서에 민감하지 않은 융합을 조합함으로써, 자기주의 복잡도가 높은 어텐션과 순차 모델의 순서 민감성 문제를 해결하여 IJB-B 및 IJB-S 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Feature fusion plays a crucial role in unconstrained face recognition where inputs (probes) comprise of a set of $N$ low quality images whose individual qualities vary. Advances in attention and recurrent modules have led to feature fusion that can model the relationship among the images in the input set. However, attention mechanisms cannot scale to large $N$ due to their quadratic complexity and recurrent modules suffer from input order sensitivity. We propose a two-stage feature fusion paradigm, Cluster and Aggregate, that can both scale to large $N$ and maintain the ability to perform sequential inference with order invariance. Specifically, Cluster stage is a linear assignment of $N$ inputs to $M$ global cluster centers, and Aggregation stage is a fusion over $M$ clustered features. The clustered features play an integral role when the inputs are sequential as they can serve as a summarization of past features. By leveraging the order-invariance of incremental averaging operation, we design an update rule that achieves batch-order invariance, which guarantees that the contributions of early image in the sequence do not diminish as time steps increase. Experiments on IJB-B and IJB-S benchmark datasets show the superiority of the proposed two-stage paradigm in unconstrained face recognition. Code and pretrained models are available in https://github.com/mk-minchul/caface

연구 동기 및 목표

• 수천 개의 저품질 이미지를 포함할 수 있는 대규모 프로브 세트에서의 비제약적 얼굴 인식에서 특징 융합의 과제를 해결한다.
• 큰 프로브 세트(N > 1000)를 처리할 때 자기주의 복잡도가 제곱형으로 증가하는 문제를 해결한다.
• 순차적 추론에서 초기 프레임의 영향력이 시간이 지남에 따라 감소하는 문제를 제거한다.
• 다양한 프로브 크기에 걸쳐 높은 성능을 유지할 수 있는 확장 가능하고 순서에 민감하지 않은 융합 프레임워크를 설계한다.
• 고정된 클러스터 수 M을 사용하여 클러스터링 및 융합 단계를 분리함으로써 대규모 프로브 세트에서의 효율적 추론을 가능하게 한다.

제안 방법

• 이중 단계 프레임워크를 도입한다: 클러스터링 네트워크(CN)는 N개의 입력 특징을 M개의 고정된 전역 클러스터 중심에 소프트 할당하여 입력 순서에 민감하지 않은 특징을 확보한다.
• 클러스터 중심 업데이트에 점진적 평균을 사용함으로써 배치 순서에 민감하지 않음을 보장하고, 초기 프레임 기여도가 감소하는 것을 방지한다.
• 입력에 독립적인 공유 클러스터 중심을 학습하여 다양한 프로브 세트 간 일관된 클러스터링을 보장한다.
• 집합 내 관계 모델링을 활용해 M개의 클러스터드 특징을 융합하는 응집 네트워크(AGN)를 적용함으로써 복잡도를 감소시킨 효과적인 특징 융합을 가능하게 한다.
• 계산 복잡도가 낮고 확장 가능한 융합 단계를 설계하여, 작은 배치로 입력을 처리함으로써 대규모 N에서의 순차적 추론을 지원한다.
• 엔드 투 엔드 훈련이 가능한 미분 가능 클러스터링 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 매우 큰 프로브 세트(N > 10,000)를 처리할 때 성능과 순서 불변성이 유지되는가?
• RQ2 복잡도가 제곱형이 되지 않는 한도에서 특징 간 집합 내 관계를 효율적으로 모델링할 수 있는가?
• RQ3 클러스터링 기반 특징 요약이 순차적 얼굴 인식에서 확장성과 입력 순서에 대한 강건성을 동시에 달성할 수 있는가?
• RQ4 이중 단계 클러스터링 및 융합 접근 방식이 대규모 비제약적 얼굴 인식에서 어텐션 기반 및 순환 융합 방법보다 우월한가?
• RQ5 제안된 방법이 장기간의 순차적 입력에서 초기 프레임의 기여도 감소 문제를 어느 정도 감소시킬 수 있는가?

주요 결과

• CAFace는 IJB-S 및 IJB-B 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 단순 평균화(Naïve) 방법 대비 상대적 성능 향상은 프로브 크가 증가할수록 커진다.
• CAFace는 동시에 최대 12,000 프레임의 융합을 지원하며, 선형 클러스터링 설계 덕분에 RSA(최대 384 프레임)에 비해 뚜렷한 성능 우위를 보인다.
• N=256일 때 CAFce는 브레인크스 FPS 대비 상대적 추론 속도 64.4배를 유지하며, 속도와 확장성 측면에서 RSA(3.1배) 및 CFAN(664.2배)를 모두 능가한다.
• 점진적 평균을 통해 배치 순서 불변성을 달성하여 초기 프레임의 기여도가 시간이 지나도 감소하지 않음을 보장한다.
• CAFace는 GPU 메모리 효율성이 뛰어나 어텐션 기반 방법과 달리 대규모 N 세트에서도 OOM 오류 없이 처리할 수 있다.
• 입력을 더 작은 배치로 나누고 클러스터 중심을 점진적으로 업데이트함으로써 순차적 추론을 대규모 N에서 가능하게 한다.