[논문 리뷰] Ada-NETS: Face Clustering via Adaptive Neighbour Discovery in the Structure Space

Yaohua Wang, Yaobin Zhang외 5명|arXiv (Cornell University)|2022. 02. 08.

Face recognition and analysis인용 수 8

한 줄 요약

Ada-NETS는 GCN 기반 얼굴 그래프에서 노이즈 엣지를 완화하기 위해 특징을 구조 공간으로 변환하고 적응형 근접 이웃 탐색 전략을 사용하여 깔끔하고 풍부한 그래프를 구축하는 새로운 얼굴 클러스터링 방법을 제안한다. 학습된 이웃 선택을 통해 특징의 강건성을 향상시키고 노이즈 연결을 줄임으로써 벤치마크 데이터셋에서 95.51%의 Pairwise F-score와 94.93%의 BCubed F-score를 달성하여 최신 기술 수준을 확보한다.

ABSTRACT

Face clustering has attracted rising research interest recently to take advantage of massive amounts of face images on the web. State-of-the-art performance has been achieved by Graph Convolutional Networks (GCN) due to their powerful representation capacity. However, existing GCN-based methods build face graphs mainly according to kNN relations in the feature space, which may lead to a lot of noise edges connecting two faces of different classes. The face features will be polluted when messages pass along these noise edges, thus degrading the performance of GCNs. In this paper, a novel algorithm named Ada-NETS is proposed to cluster faces by constructing clean graphs for GCNs. In Ada-NETS, each face is transformed to a new structure space, obtaining robust features by considering face features of the neighbour images. Then, an adaptive neighbour discovery strategy is proposed to determine a proper number of edges connecting to each face image. It significantly reduces the noise edges while maintaining the good ones to build a graph with clean yet rich edges for GCNs to cluster faces. Experiments on multiple public clustering datasets show that Ada-NETS significantly outperforms current state-of-the-art methods, proving its superiority and generalization. Code is available at https://github.com/damo-cv/Ada-NETS.

연구 동기 및 목표

• 다른 클래스의 얼굴 간 잘못된 연결으로 인해 특징 학습이 악화되는 GCN 기반 얼굴 클러스터링에서 노이즈 엣지 문제를 해결하기 위해.
• 일般적으로 특징 공간에서 k-NN에 기반한 이웃 선택의 신뢰성을 향상시키기 위해.
• 노이즈 엣지를 최소화하면서도 의미 있는 연결을 유지하기 위해 각 얼굴에 대해 이웃 수를 적응적으로 결정하는 방법을 개발하기 위해.
• 국소적 구조 패턴을 활용하여 특징 표현을 향상시켜 클러스터링을 위한 더 강건하고 구분력 있는 임bedding을 얻기 위해.
• GCN에서의 구조 공간 변환과 적응형 이웃 탐색을 조합하여 공개 벤치마크에서 뛰어난 클러스터링 성능을 달성하기 위해.

제안 방법

• 각 얼굴이 이웃 이미지의 무늬 및 분포 정보를 코딩할 수 있도록 특징을 구조 공간으로 변환하여 특징의 강건성을 향상시킨다.
• 국소적 특징 일관성을 기반으로 한 후보 이웃 품질 기준을 도입하여 고품질 이웃의 선택을 안내한다.
• 회귀를 사용하여 각 얼굴의 최적 이웃 수(k_off)를 추정하는 학습 가능한 적응형 필터를 적용하여 고정된 k-NN 히우리스틱을 피한다.
• 후보 이웃을 순위 매기기 위한 히우리스틱 품질 점수를 사용하고, 구조적 일관성을 극대화하며 이종 클래스 연결을 최소화하는 부분집합을 동적으로 선택한다.
• 선택된 이웃을 사용하여 깔끔하고 풍부한 그래프를 구축하고, 이를 GCN에 공급하여 메시지 전달 및 향상된 특징 학습을 수행한다.
• GCN에서의 그래프 임베딩을 활용하여 컴act하고 구분력 있는 특징을 생성하여 클러스터링 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 특징을 구조 공간으로 변환하는 것이 노이즈가 많은 k-NN 연결의 영향을 줄일 수 있는가?
• RQ2 노이즈 엣지를 최소화하면서도 정보적인 연결을 유지하기 위해 각 얼굴의 이웃 수를 어떻게 적응적으로 결정할 수 있는가?
• RQ3 k_off를 추정하기 위해 학습 가능한 필터를 사용할 경우 고정 k-NN 또는 어텐션 기반 방법에 비해 클러스터링 성능이 향상되는가?
• RQ4 제안된 적응형 이웃 탐색 전략은 다양한 얼굴 클러스터링 데이터셋에서 일관된 성능을 달성할 수 있는가?
• RQ5 표준 특징 공간에 비해 구조 공간이 특징의 구분력과 클러스터링 F-스코어에 얼마나 기여하는가?

주요 결과

• Ada-NETS는 벤치마크 데이터셋에서 95.51%의 Pairwise F-score와 94.93%의 BCubed F-score를 달성하여 최신 기술 수준의 방법들을 크게 능가한다.
• k 값의 다양한 설정에서도 안정적인 성능을 유지하여 k-NN 및 임계값 기반 베이스라인에 비해 하이퍼파ram터 선택에 대해 더 강건함을 입증한다.
• Ada-NETS와 구조 공간을 사용한 GCN에서 생성된 그래프 임베딩은 10억 개의 무작위 쌍에서 최고의 ROC 성능를 보이며, 특징의 구분력이 뛰어남을 시사한다.
• 특징 시각화 결과는 구조 공간에서의 임베딩이 개별 정체성 당 더 컴팩트함을 확인하여 클러스터링 성능 향상에 기여함을 뒷받침한다.
• k_off 회귀(E^k_reg)를 사용한 적응형 필터는 Q-값 회귀나 분류와 같은 대안 방법보다 더 높은 성능을 달성하며, 더 적은 파라미터를 사용한다.
• GAT과 같은 어텐션 기반 방법은 복잡하고 비균일한 특징 패턴으로 인해 어텐션 가중치 학습이 어려워 Ada-NETS에 뒤지게 된다.