[논문 리뷰] Linkage Based Face Clustering via Graph Convolution Network

Zhongdao Wang, Liang Zheng외 2명|arXiv (Cornell University)|2019. 03. 27.

Face recognition and analysis참고 문헌 37인용 수 21

한 줄 요약

이 논문은 지역적 맥락을 활용한 인스턴스 피벗 서브그래프(IPS)를 통해 클러스터링을 링크 예측 문제로 공식화하는 그래프 컬러션 네트워크(GCN)-기반 얼굴 클러스터링 방법을 제안한다. 이는 이웃 특징에서 연결 가능성 확률을 학습함으로써 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 노이즈와 이방성 요소에 대해 효과적으로 대응하고, 클러스터 수에 대한 사전 지식이 필요 없이 대규모 데이터셋에 효율적으로 스케일링된다.

ABSTRACT

In this paper, we present an accurate and scalable approach to the face clustering task. We aim at grouping a set of faces by their potential identities. We formulate this task as a link prediction problem: a link exists between two faces if they are of the same identity. The key idea is that we find the local context in the feature space around an instance (face) contains rich information about the linkage relationship between this instance and its neighbors. By constructing sub-graphs around each instance as input data, which depict the local context, we utilize the graph convolution network (GCN) to perform reasoning and infer the likelihood of linkage between pairs in the sub-graphs. Experiments show that our method is more robust to the complex distribution of faces than conventional methods, yielding favorably comparable results to state-of-the-art methods on standard face clustering benchmarks, and is scalable to large datasets. Furthermore, we show that the proposed method does not need the number of clusters as prior, is aware of noises and outliers, and can be extended to a multi-view version for more accurate clustering accuracy.

연구 동기 및 목표

• 기존 클러스터링 방법이 엄격한 가정을 수반하기 때문에 비정상적이고 비균일한 분포를 가진 얼굴 클러스터링 문제를 해결한다.
• 기존 링크 기반 방법에서 히وري스틱 연결 지표의 한계를 극복하기 위해 맥락 인식 연결 가능성 확률을 학습한다.
• 클러스터 수를 입력으로 필요로 하지 않으며 노이즈와 이방성 요소에 강건한 확장 가능한 클러스터링 프레임워크를 개발한다.
• 다양한 모odal리티(예: 얼굴 및 오디오)의 보완적 특징을 활용하여 다중 시각 클러스터링으로의 확장을 통해 정확도를 향상시킨다.

제안 방법

• 두 얼굴이 동일한 신원을 공유할 경우 링크가 존재하는 것으로 간주하여 얼굴 클러스터링을 링크 예측 문제로 공식화한다.
• 각 얼굴 주변에 인스턴스 피벗 서브그래프(IPS)를 구성하여 국소적 이웃 맥락을 캡처하며, 각 이웃을 서브그래프 내의 노드로 모델링한다.
• 그래프 컬러션 네트워크(GCN)를 사용하여 IPS를 추론하고 피벗과 이웃 간의 연결 가능성 확률을 예측한다.
• 예측된 연결 점수를 바탕으로 연결된 노드를 추론적으로 병합하여 최종 클러스터를 형성한다.
• 근사 근접 이웃(ANN) 검색을 활용하여 IPS 구축 복잡도를 O(n²)에서 O(n log n)으로 감소시켜 확장성을 향상시킨다.
• 다양한 모odal리티(예: 얼굴 및 오디오)의 특징을 연결하여 공동 표현을 학습하고 GCN을 이를 기반으로 훈련시킴으로써 다중 시각 클러스터링으로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 복잡한 데이터 분포 하에서 히وري스틱 지표보다 맥락 인식 가능성이 있는 학습 가능한 연결 예측 메커니즘이 얼굴 클러스터링에서 더 우수한 성능을 보일 수 있는가?
• RQ2 제안된 GCN 기반 방법은 기존 클러스터링 알고리즘에 비해 노이즈와 이방성 요소에 대해 얼마나 더 강건한가?
• RQ3 특히 수백만 개의 간섭 얼굴이 존재하는 상황에서 대규모 데이터셋에 대해 어떻게 스케일링되는가?
• RQ4 다양한 데이터 소스에서의 보완적 정보를 활용하기 위해 이 프레임워크를 다중 시각 클러스터링으로 효과적으로 확장할 수 있는가?

주요 결과

• 제안된 방법은 표준 얼굴 클러스터링 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 512개의 신원이 포함된 VoxCeleb2 테스트 세트에서 F1 점수 0.841, NMI 0.940을 기록하였다.
• 2,048개의 신원과 100만 개의 간섭 얼굴이 존재하는 대규모 설정에서도 성능이 유지되었으며(F1: 0.810, NMI: 0.946), O(n log n) 복잡도로 효율적으로 확장되었다.
• 모든 평가 프로토콜에서 ARO 및 기타 베이스라인 방법을 초월하여 복잡하고 불균형한 데이터 분포에 대한 우수한 강건성을 입증하였다.
• 얼굴+오디오 특징을 활용한 다중 시각 확장은 512개의 신원에서 F1 점수 0.841, NMI 0.940을 달성하였으며, 히وري스틱 방법이 실패하는 상황에서 보완적 정보를 효과적으로 학습함을 보였다.
• 노이즈와 이방성 요소에 강건하며 클러스터 수를 입력으로 필요로 하지 않아 실세계의 오픈 세트 얼굴 클러스터링에 적합하다.
• ANN 검색을 사용할 경우 런타임이 데이터 크기와 선형적으로 증가하여 단일 GPU에서 대규모 데이터셋을 효율적으로 처리할 수 있다.