[논문 리뷰] Merge or Not? Learning to Group Faces via Imitation Learning

Yue He, Kaidi Cao외 2명|arXiv (Cornell University)|2017. 07. 13.

Face recognition and analysis참고 문헌 39인용 수 4

한 줄 요약

이 논문은 역강화학습을 통한 모방학습을 활용해 순차적 융합 결정을 내리는 새로운 얼굴 그룹화 프레임워크를 제안한다. 이는 프ofile 얼굴, 노이즈, 관심 없는 얼굴이 있는 실제 환경에서의 클러스터링 성능을 향상시킨다. 전문가의 시연에서 단기 및 장기 보상 모두를 학습함으로써 세 가지 벤치마크, 특히 새로운 대규모 데이터셋(GFW)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Given a large number of unlabeled face images, face grouping aims at clustering the images into individual identities present in the data. This task remains a challenging problem despite the remarkable capability of deep learning approaches in learning face representation. In particular, grouping results can still be egregious given profile faces and a large number of uninteresting faces and noisy detections. Often, a user needs to correct the erroneous grouping manually. In this study, we formulate a novel face grouping framework that learns clustering strategy from ground-truth simulated behavior. This is achieved through imitation learning (a.k.a apprenticeship learning or learning by watching) via inverse reinforcement learning (IRL). In contrast to existing clustering approaches that group instances by similarity, our framework makes sequential decision to dynamically decide when to merge two face instances/groups driven by short- and long-term rewards. Extensive experiments on three benchmark datasets show that our framework outperforms unsupervised and supervised baselines.

연구 동기 및 목표

• 기존의 딥 메트릭 학습 접근법의 성능을 떨어뜨리는 프ofile 얼굴, 노이즈 있는 검출 결과, 관심 없는 얼굴이 있는 오픈월드 환경에서의 얼굴 그룹화 과제를 해결한다.
• 순차적 맥락이나 운영 비용을 고려하지 않는 정적 유사도 기반 결합 결정을 내리는传통적 클러스터링 방법의 한계를 극복한다.
• 융합 행동이 즉각적인(단기) 보상과 누적된(장기) 보상에 의해 이끌리는 순차적 결정 문제로 얼굴 그룹화를 재정의한다.
• 전문가의 시연(정답 그룹링)으로부터 보상 함수를 학습함으로써 복잡한 실제 데이터 분포를 다룰 수 있도록 수동 보상 설계 없이 역강화학습을 활용한다.
• 제약 조건이 없는 조건에서 오픈월드 얼굴 그룹화를 평가하기 위해 대규모이고 현실적인 벤치마크 데이터셋인 'Grouping Faces in the Wild (GFW)'를 도입한다.

제안 방법

• 각 상태가 현재 얼굴 그룹의 분할을 나타내는 마르코프 결정 과정(MDP)으로 얼굴 그룹화를 수식화하고, 행동은 그룹 쌍을 '융합'하거나 '융합하지 않음'으로 정의한다.
• 전문가의 시연(정답 그룹링)으로부터 보상 함수를 추론하기 위해 역강화학습(IRL)을 사용하여, 사전에 보상 형상화를 하지 않고도 최적의 행동을 모방할 수 있도록 한다.
• 후보 클러스터의 유사도, 일관성, 품질에 기반한 단기 보상과 정답 분할에 도달하기 위한 운영 비용에 기반한 장기 보상을 조합한 복합 보상 함수를 설계한다.
• 계산 비용을 줄이면서도 성능을 유지하기 위해 계층적 클러스터링 등의 클러스터링 기반 추천기로 융합할 후보 그룹 쌍을 효율적으로 선택한다.
• 학습된 보상 함수를 사용해 융합 결정을 최적화하는 정책을 학습함으로써, 새로운 사진 앨범에 일반화할 수 있도록 한다.
• 딥 메트릭 임bedding(예: MS-Celeb-1M에서 미세조정된 Inception-v3)을 얼굴 쌍의 특징 표현으로 사용하고, 얼굴 품질을 상태 벡터의 입력 특징으로 통합한다.

실험 결과

연구 질문

• RQ1 역강화학습을 통한 모방학습이, 프ofile 얼굴과 노이즈가 있는 다양한 실제 사진 앨범에서 일반화 가능한 강력한 얼굴 그룹화 정책을 효과적으로 학습할 수 있는가?
• RQ2 단기 보상과 장기 보상이 함께 작용할 경우, 단일 유형의 보상만 사용하는 것과 비교해 그룹화 성능를 얼마나 향상시키는가?
• RQ3 얼굴 품질 및 맥락적 단서를 통합할 경우, 저품질 또는 관심 없는 얼굴이 많은 데이터셋에서 성능 향상 정도는 어떠한가?
• RQ4 추천기 선택(예: 계층적 클러스터링 vs. 무작위 선택)이 최종 그룹화의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ5 학습된 정책이 오픈월드 얼굴 그룹화에서 비지도 및 지도 기반 베이스라인을 모두 능가할 수 있는가, 특히 GFW와 같은 새로운 현실적인 벤치마크에서 성능을 보여주는가?

주요 결과

• 제안된 IL-HC 프레임워크는 LFW-Album에서 F₁ 스코어 91.1%를 기록하여 비지도 기반 베이스라인과 기존 지도 학습 방법을 크게 앞서간다.
• 새로운 GFW 데이터셋에서 이 방법은 F₁ 스코어 67.3%를 기록했으며, 이는 비지도 기반 베이스라인의 15%와 무작위 추천기의 61.9%를 크게 상회한다.
• 장기 보상(운영 비용)을 제거하면 GFW에서 F₁ 스코어가 67.3%에서 62.6%로 감소하여, 노이즈가 많고 어려운 케이스를 다루기 위해 장기 비용 모델링이 핵심임을 시사한다.
• 단기 보상 기능을 제거하고 단순한 ±1 손실로 대체하면 GFW에서 F₁ 스코어가 17.1%로 떨어지며, IRL로 학습된 보상이 히우리스틱 지도 학습보다 훨씬 효과적임을 입증한다.
• 아블레이션 연구를 통해 얼굴 품질 특징이 GFW에서는 필수적임을 확인(특징 없이 F₁ 스코어 67.3% → 48.4%)했지만, LFW-Album과 같은 청소년 데이터셋에서는 영향이 덜한 것으로 나타났다.
• 장기 보상의 비용 분포를 조정하면 알고리즘을 정밀도 또는 재현율 향상 방향으로 편향시킬 수 있어, 다양한 응용 요구사항에 맞게 맞춤화할 수 있다.