[논문 리뷰] Learning to Cluster Faces via Confidence and Connectivity Estimation

Lei Yang, Dapeng Chen외 4명|arXiv (Cornell University)|2020. 04. 01.

Face recognition and analysis참고 문헌 42인용 수 5

한 줄 요약

이 논문은 두 개의 그래프 컨volution 네트워크(GCN-V 및 GCN-E)를 사용하여 정점 신뢰도와 간선 연결성을 동시 추정하는 방식으로 클러스터링을 정식화하는 완전히 학습 가능한 얼굴 클러스터링 프레임워크를 제안한다. 각 정점을 더 높은 신뢰도를 가진 강하게 연결된 이웃 정점과 연결함으로써, 이 방법은 유사도 그래프를 자연스러운 클러스터로 분할하여 MS1M-584K 및 DeepFashion과 같은 대규모 데이터셋에서 최신 기술 수준의 정확도를 달성하고 기존의 지도 학습 기반 방법보다 10배 빠른 속도를 기록한다.

ABSTRACT

Face clustering is an essential tool for exploiting the unlabeled face data, and has a wide range of applications including face annotation and retrieval. Recent works show that supervised clustering can result in noticeable performance gain. However, they usually involve heuristic steps and require numerous overlapped subgraphs, severely restricting their accuracy and efficiency. In this paper, we propose a fully learnable clustering framework without requiring a large number of overlapped subgraphs. Instead, we transform the clustering problem into two sub-problems. Specifically, two graph convolutional networks, named GCN-V and GCN-E, are designed to estimate the confidence of vertices and the connectivity of edges, respectively. With the vertex confidence and edge connectivity, we can naturally organize more relevant vertices on the affinity graph and group them into clusters. Experiments on two large-scale benchmarks show that our method significantly improves clustering accuracy and thus performance of the recognition models trained on top, yet it is an order of magnitude more efficient than existing supervised methods.

연구 동기 및 목표

• 고전적인 히ュ리스틱 기반 하위그래프 지도 학습 클러스터링 방법에서 발생하는 높은 중복성과 성능 저하 문제를 해결한다.
• 클러스터링 정확도를 유지하거나 향상시키면서 필요한 하위그래프 수를 최소화하여 계산 비용을 감소시킨다.
• 정점 신뢰도와 간선 연결성을 수동 설계나 히ュ리스틱 가정 없이 종단 간(end-to-end)으로 예측할 수 있는 완전히 학습 가능한 프레임워크를 개발한다.
• 대규모 레이블이 없는 얼굴 데이터에서의 클러스터링 성능 향상을 통해 후속 얼굴 인식 모델의 성능을 향상시킨다.
• DeepFashion 벤치마크에서의 평가를 통해 얼굴 데이터를 초월한 일반화 능력을 입증한다.

제안 방법

• 정점의 클러스터 소속 확률(정점 신뢰도)과 두 정점이 같은 클러스터에 속할 가능성(간선 연결성)을 추정하는 두 단계 학습 문제로 얼굴 클러스터링을 정식화한다.
• 전체 유사도 그래프를 입력으로 받아 모든 정점의 신뢰도 점수를 동시에 예측하는 그래프 컨volution 네트워크(GCN-V)를 설계한다.
• 후보 이웃 집합을 사용하여 간선 연결성을 평가하는 국소화된 GCN인 GCN-E를 설계하여, 두 정점이 같은 클러스터에 속할 가능성을 학습적으로 예측한다.
• 각 정점을 가장 높은 신뢰도를 가진 이웃 정점과 연결함으로써 클러스터를 구성하며, 이는 나무 구조를 형성하여 자연스럽게 클러스터를 표현한다.
• GCN의 최상위 레이어 특징 임베딩(F_L)을 사용해 동적으로 유사도 그래프를 재구성함으로써, 전체 재계산 없이도 연결성 추정을 향상시킨다.
• GCN-E 적용 대상이 되는 고신뢰도 정점의 비율을 제어하는 하이퍼파rameter ρ를 도입하여 계산 비용과 성능 간의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 완전히 학습 가능한 클러스터링 프레임워크는 이전의 지도 학습 방법에서 사용하는 히ュ리스틱 기반 하위그래프 구성 및 예측 집계 단계를 제거할 수 있는가?
• RQ2 정점 신뢰도와 간선 연결성을 동시에 추정하는 방식이 기존의 하위그래프 기반 또는 비지도 학습 방법보다 더 정확한 클러스터링을 이끌 수 있는가?
• RQ3 필요로 하는 하위그래프 수를 줄임으로써 계산 효율성을 크게 향상시킬 수 있는가, 동시에 클러스터링 정확도를 손상시키지 않는가?
• RQ4 그래프 재구성에 변환된 특징 임베딩(F_L)을 사용할 경우 연결성 추정 및 전체 클러스터링 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 얼굴 데이터를 초월해 패션 이미지 클러스터링과 같은 다른 분야로도 일반화될 수 있는가?

주요 결과

• 제안된 방법은 MS1M-584K 및 DeepFashion 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, F_P 지표 기준으로 MS1M-584K에서 F1 점수 87.14, DeepFashion에서 57.26를 기록하였다.
• 원본 특징 대비 변환된 임베딩(F_L)을 사용한 그래프 재구성은 성능 향상을 이끌었으며, MS1M-584K에서 F_P 지표가 82.76에서 87.14로 상승하였다.
• 기존의 지도 학습 기반 클러스터링 기준보다 약 10배 빠른 속도를 기록하여, 중복되는 하위그래프로 인한 불필요한 계산을 크게 줄였다.
• 고신뢰도 정점 상위 10%에만 GCN-E를 적용하는 경우(ρ=0.1)에 성능 향상이 뚜렷하며, 계산 비용은 최소한으로 유지된다.
• 모든 정점에 GCN-E를 적용할 경우(ρ=1) 성능이 저하됨을 관찰하여, 낮은 신뢰도를 가진 정점들이 복잡하고 학습하기 어려운 연결 패턴을 유도함을 시사한다.
• 이 방법은 얼굴 데이터셋을 초월해 잘 일반화되며, DeepFashion 벤치마크에서 강력한 성능을 기록하여 얼굴 인식을 넘어서도 넓은 적용 가능성을 보였다.