[논문 리뷰] Clustering Millions of Faces by Identity

Charles Otto, D. Wang외 1명|arXiv (Cornell University)|2016. 04. 04.

Face recognition and analysis참고 문헌 2인용 수 5

한 줄 요약

이 논문은 깊이 학습된 얼굴 임베딩을 사용하여 수백만 개의 레이블이 없는 얼굴 이미지를 정체성으로 군집화하는 근사 순서 기반 군집화 알고리즘을 제안한다. 이는 LFW에서 F-측정치 0.87, 123M 이미지 데이터셋에서 0.27의 높은 확장성과 정확도를 달성한다. 이 방법은 거대한 얼굴 이미지 컬렉션을 효율적으로 군집화할 수 있으며, 수동 검토를 위해 고신뢰도 군집을 우선순위에 올리는 내부 군집 품질 측정 기준을 도입한다.

ABSTRACT

In this work, we attempt to address the following problem: Given a large number of unlabeled face images, cluster them into the individual identities present in this data. We consider this a relevant problem in different application scenarios ranging from social media to law enforcement. In large-scale scenarios the number of faces in the collection can be of the order of hundreds of million, while the number of clusters can range from a few thousand to millions--leading to difficulties in terms of both run-time complexity and evaluating clustering and per-cluster quality. An efficient and effective Rank-Order clustering algorithm is developed to achieve the desired scalability, and better clustering accuracy than other well-known algorithms such as k-means and spectral clustering. We cluster up to 123 million face images into over 10 million clusters, and analyze the results in terms of both external cluster quality measures (known face labels) and internal cluster quality measures (unknown face labels) and run-time. Our algorithm achieves an F-measure of 0.87 on a benchmark unconstrained face dataset (LFW, consisting of 13K faces), and 0.27 on the largest dataset considered (13K images in LFW, plus 123M distractor images). Additionally, we present preliminary work on video frame clustering (achieving 0.71 F-measure when clustering all frames in the benchmark YouTube Faces dataset). A per-cluster quality measure is developed which can be used to rank individual clusters and to automatically identify a subset of good quality clusters for manual exploration.

연구 동기 및 목표

• 소셜 미디어 및 법집행 기관과 같은 대규모 시나리오에서 알 수 없는 정체성으로 수백만 개의 레이블이 없는 얼굴 이미지를 군집화하는 문제를 해결한다.
• 기존 군집화 방법(예: k-means, 스펙트럴 군집화)이 거대하고 제약 없는 얼굴 데이터셋에 적용될 때 겪는 확장성과 정확도 한계를 극복한다.
• 낮은 이미지 품질, 불균형한 주제 빈도, 노이즈 또는 누락된 레이블이 있는 상황에서도 높은 정확도를 유지하는 강건하고 확장 가능한 군집화 파이프라인을 개발한다.
• 내부 군집 품질 측정 기준을 도입하여 군집의 밀도와 분리도를 기반으로 군집을 순위 매겨, 후속 수동 검토나 분석을 위한 고신뢰도 결과를 우선순위에 올린다.
• 12300만 개의 얼굴 이미지를 1000만 개 이상의 군집으로 군집화하면서도 정체성의 구조를 유지하는 것이 가능함을 입증한다.

제안 방법

• 최신 얼굴 인식 모델에서 유도한 깊이 학습된 컨volution 신경망(CNN) 임베딩을 활용하여 고품질이고 구별력 있는 얼굴 표현을 생성한다.
• Zhu 등 [7]이 제안한 순서 기반 군집화 알고리즘을 공유 최근접 이웃(SNN)을 사용해 유사도를 계산하도록 수정함으로써, 노이즈가 많거나 품질이 낮은 얼굴 이미지에 대한 강건성을 향상시킨다.
• FAISS 또는 유사한 도구를 사용한 근사 최근접 이웃(ANN) 검색을 도입하여 SNN 계산을 1억 개 이상의 이미지로 확장함으로써 런타임 복잡도를 감소시킨다.
• 반복적 개선 단계를 피함으로써 군집화 절차를 단순화하고, 거대한 데이터셋에 적합한 단일 패ass, 확장 가능한 접근 방식을 선호한다.
• 외부 레이블 없이도 계산할 수 있는 내부 군집 품질 점수를 설계하여 군집 내 밀도와 군집 간 분리도를 기반으로 한다.
• 품질 측정 기준을 적용하여 군집을 순위 매기고, 고신뢰도 군집을 후속 인간 검토나 분석을 위해 우선순위에 올릴 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 페처와 근사 최근접 이웃을 활용한 순서 기반 군집화 접근 방식이 1억 개 이상의 얼굴 이미지에 대해 확장성과 높은 군집 정확도를 유지할 수 있는가?
• RQ2 대규모 제약 없는 얼굴 데이터셋에서 제안된 근사 순서 기반 군집화 방법이 k-means 및 스펙트럴 군집화에 비해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ3 외부 레이블에 의존하지 않고도 내부 군집 품질 측정 기준이 고신뢰도 군집을 효과적으로 식별할 수 있는 정도는 어느 정도인가?
• RQ4 이미지 품질의 변동성과 함께 데이터셋 크기가 증가함에 따라 군집 성능이 어떻게 저하되는가? 특히 웹에서 유래한 간섭 이미지를 포함할 경우 어떻게 되는가?
• RQ5 실제 제약 없는 환경에서 동일한 정체성의 여러 이미지를 성공적으로 군집화할 수 있는가? 특히 근접한 중복 이미지 또는 자세와 조명이 다른 이미지가 포함된 경우에도 마찬가지인가?

주요 결과

• 제안된 근사 순서 기반 군집화 알고리즘이 레이블이 있는 얼굴들(LFW) 기준 벤치마크 데이터셋에서 F-측정치 0.87을 달성하여 표준 얼굴 군집화 작업에서 뛰어난 성능을 보였다.
• 평가된 가장 큰 데이터셋—13,233개의 레이블이 있는 LFW 이미지에 1억 2,300만 개의 레이블이 없는 웹 이미지를 추가한 데이터셋에서 알고리즘은 F-측정치 0.27을 기록하여 실제 대규모 환경에서의 적용 가능성을 입증했다.
• 내부 군집 품질 측정 기준이 군집을 순위 매겨 상위 순위 군집이 주로 순수한 군집(즉, 동일한 정체성의 이미지만 포함)임을 효과적으로 식별했으며, 높은 밀도와 분리도를 보였다.
• 상위 군집에는 종종 근접한 중복 이미지나 만화 얼굴 이미지가 포함되어 있었지만, 품질 측정 기준은 실제로 동일한 정체성의 얼굴 이미지로 구성된 군집을 효과적으로 우선순위에 올렸다. 이는 노이즈가 많은 배경에서도 성능을 유지했다.
• 이 방법은 1억 2,300만 개의 얼굴 이미지를 1,000만 개 이상의 군집으로 군집화하는 데 성공했으며, 근사 최근접 이웃 검색을 통해 정확한 방법에 비해 런타임 성능이 크게 향상되었다.
• YouTube Faces 데이터셋의 영상 프레임 군집화에서 F-측정치 0.71을 달성하여, 이 방법이 순차적 시각 데이터로도 잘 일반화됨을 보였다.