[논문 리뷰] Learning to Cluster Faces via Transformer

Jinxing Ye, Xiaojiang Peng외 5명|arXiv (Cornell University)|2021. 04. 23.

Face recognition and analysis참고 문헌 38인용 수 6

한 줄 요약

이 논문은 관계 인코더(RE)를 통해 문맥적 노드 강화를 하고 링크 예측기(LP)를 통해 정밀한 쌍별 클러스터링 연결 예측을 수행하는 이중 단계의 트랜스포머 기반 접근 방식을 활용하는 새로운 지도 학습 기반 얼굴 클러스터링 프레임워크인 Face Transformer(FaceT)를 제안한다. 국소적 구조와 엣지 표현을 향상시킴으로써 FaceT는 최신 기술 수준의 성능을 달성하여 MS-Celeb-1M에서 91.12%의 쌍별 F-스코어와 90.54%의 Bcubed F-스코어를 기록한다.

ABSTRACT

Face clustering is a useful tool for applications like automatic face annotation and retrieval. The main challenge is that it is difficult to cluster images from the same identity with different face poses, occlusions, and image quality. Traditional clustering methods usually ignore the relationship between individual images and their neighbors which may contain useful context information. In this paper, we repurpose the well-known Transformer and introduce a Face Transformer for supervised face clustering. In Face Transformer, we decompose the face clustering into two steps: relation encoding and linkage predicting. Specifically, given a face image, a extbf{relation encoder} module aggregates local context information from its neighbors and a extbf{linkage predictor} module judges whether a pair of images belong to the same cluster or not. In the local linkage graph view, Face Transformer can generate more robust node and edge representations compared to existing methods. Experiments on both MS-Celeb-1M and DeepFashion show that our method achieves state-of-the-art performance, e.g., 91.12\% in pairwise F-score on MS-Celeb-1M.

연구 동기 및 목표

• 자세, 가림, 이미지 품질의 극단적 변동이 있는 조건에서 얼굴 클러스터링을 해결하기 위해.
• 얼굴 이미지와 그 이웃 간의 문맥적 관계를 모델링하여 클러스터링의 견고성을 향상시키기 위해.
• 기존의 클러스터링 방법이 볼록성 또는 균일한 클러스터 분포를 가정하는 한계를 극복하기 위해.
• 노드와 엣지 표현 학습을 위한 어텐션 메커니즘을 활용하는 통합형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 대규모 얼굴 클러스터링 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• FaceT는 얼굴 클러스터링을 두 단계로 분해한다: 관계 인코딩과 링크 예측.
• 관계 인코더(RE)는 멀티헤드 자기주의를 사용하여 이웃 얼굴 이미지로부터 국소적 문맥을 집계함으로써 노드 임베딩을 강화한다.
• 링크 예측기(LP)는 트랜스포머 기반 엣지 강화 모듈을 활용하여 엣지 표현을 정밀하게 다듬고, 쌍의 이미지가 동일한 클러스터에 속하는지 분류한다.
• 모델은 이중 힙 이웃 샘플링 전략을 사용한다: 힙1은 어려운 양/음성 샘플 채굴을 위해, 힙2는 국소적 구조 일관성을 위해.
• 프레임워크는 쌍별 링크 예측에 대한 대비 손실을 사용하여 엔드 투 엔드로 훈련되며, 노드와 엣지 표현의 공동 최적화를 가능하게 한다.
• 에ncoder 깊이, 어텐션 헤드 수, 드롭아웃, 이웃 힙 수와 같은 하이퍼파라미터는 견고성과 성능 향상을 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 도전적인 조건에서 국소적 구조적 문맥을 효과적으로 모델링하여 얼굴 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 노드와 엣지 표현을 동시에 강화하는 것이 기존의 GCN 기반 또는 메트릭 학습 방법보다 더 나은 클러스터링 성능을 낳는가?
• RQ3 제안된 FaceT 프레임워크는 어텐션 헤드 수, 드롭아웃, 이웃 힙 수와 같은 하이퍼파라미터 설정에 얼마나 민감한가?
• RQ4 모델은 다양한 딥 페처 추출기와 훈련 데이터셋 간에 일반화 가능한가?
• RQ5 문맥 인식 엣지 표현을 사용함으로써 어려운 양성 및 음성 쌍의 오분류를 줄일 수 있는가?

주요 결과

• FaceT는 MS-Celeb-1M 벤치마크에서 91.12%의 쌍별 F-스코어를 기록하여 새로운 최신 기술 수준을 수립한다.
• 모델은 MS-Celeb-1M에서 Bcubed F-스코어 90.54%와 NMI 97.63%를 기록하여 우수한 클러스터링 순도와 밀도를 보여준다.
• 관계 인코더만으로도 유클리드 공간에서 측정 가능한 강력한 노드 표현을 생성하며, 효과적인 문맥 특징 학습을 나타낸다.
• 드롭아웃 비율을 0.4에서 0.2로 감소시키면 테스트 성능이 약간 향상되며, 이는 과도한 정규화가 학습을 방해할 수 있음을 시사한다.
• 어텐션 헤드 수를 4에서 8로 늘리면 성능이 약간 향상되며, 최고의 F-스코어는 91.34%에 도달한다.
• 모델은 힙1과 힙2 이웃 샘플링 전략에 가장 민감하며, 힙1을 150, 힙2를 5로 설정했을 때 최적의 성능를 기록함으로써 이웃 선택 전략이 일반화에 상당한 영향을 미친다는 것을 시사한다.