[논문 리뷰] Multi-Face: Self-supervised Multiview Adaptation for Robust Face Clustering in Videos

Krishna Somandepalli, Rajat Hebbar외 1명|arXiv (Cornell University)|2020. 08. 25.

Face recognition and analysis참고 문헌 47인용 수 6

한 줄 요약

이 논문은 장편 영상에서 강건한 얼굴 클러스터링을 위한 자기지도 학습 다중시점 적응 프레임워크인 Multi-Face를 제안한다. 영상 프레임 내에서 동시에 나타나는 얼굴을 활용해 약한 레이블이 부여된 얼굴 트랙을 생성하고, 근접한 이웃 검색을 통해 어려운 예제를 선별하며, 다중시점 공유 부분공간 학습을 통한 도메인 적응을 수행함으로써, 영화 데이터셋에서 얼굴 인식 및 클러스터링 성능을 크게 향상시킨다.

ABSTRACT

Robust face clustering is a key step towards computational understanding of visual character portrayals in media. Face clustering for long-form content such as movies is challenging because of variations in appearance and lack of large-scale labeled video resources. However, local face tracking in videos can be used to mine samples belonging to same/different persons by examining the faces co-occurring in a video frame. In this work, we use this idea of self-supervision to harvest large amounts of weakly labeled face tracks in movies. We propose a nearest-neighbor search in the embedding space to mine hard examples from the face tracks followed by domain adaptation using multiview shared subspace learning. Our benchmarking on movie datasets demonstrate the robustness of multiview adaptation for face verification and clustering. We hope that the large-scale data resources developed in this work can further advance automatic character labeling in videos.

연구 동기 및 목표

• 장편 영상 콘텐츠(예: 영화)에서 외관의 변동성과 대규모 레이블이 없는 데이터로 인해 성능이 저하되는 문제를 해결하기 위해.
• 영상 프레임 내에서 동시에 나타나는 얼굴을 식별함으로써 지역적 얼굴 추적을 활용해 자동으로 약한 레이블이 부여된 얼굴 트랙을 생성하기 위해.
• 이러한 트랙에서 어려운 예제를 채굴함으로써 자기지도 학습을 통해 얼굴 클러스터링의 강건성을 향상시키기 위해.
• 동일한 신원의 다양한 시점에서의 임베딩을 정렬하기 위해 공유 부분공간 학습을 활용한 다중시점 적응 프레임워크를 개발하기 위해.
• 자동 캐릭터 레이블링 연구를 촉진하기 위해 장편 영화 영상에서의 얼굴 클러스터링을 평가할 수 있는 대규모 벤치마크 데이터셋을 제공하기 위해.

제안 방법

• 영상 프레임 내에서 얼굴의 공존을 활용해 수동 레이블링 없이 약한 레이블이 부여된 얼굴 트랙을 생성한다.
• 약한 레이블이 부여된 트랙에서 하드 포지티브 및 네거티브 예제를 식별하기 위해 임베딩 공간에서 근접한 이웃 검색을 적용한다.
• 동일 신원의 다양한 시점에서의 임베딩을 정렬하기 위해 다중시점 공유 부분공간 학습을 활용하여 특징 일반화를 향상시킨다.
• 트랙 수준의 공존을 통한 자기지도 학습을 통해 얼굴 임베딩 모델을 사전 학습하고 개선한다.
• 학습 및 테스트 데이터 간의 분포 이탈을 줄이기 위해 도메인 적응 기법을 통합한다.
• 실제 환경 조건에서 얼굴 클러스터링 및 인식 성능 평가를 위한 대규모 영화 기반 벤치마크 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 영상 프레임 내에서 공존하는 얼굴이 얼굴 클러스터링을 위한 약한 레이블 학습 신호로 효과적으로 활용될 수 있는가?
• RQ2 다중시점 공유 부분공간 학습은 장시간 영상에서 다양한 외형 변화가 있는 얼굴 임베딩의 강건성을 어떻게 향상시키는가?
• RQ3 약한 레이블 트랙에서 어려운 예제 채굴이 랜덤 샘플링에 비해 클러스터링 성능 향상에 얼마나 기여하는가?
• RQ4 약한 레이블 데이터만을 사용하는 경우, 자기지도 다중시점 적응이 레이블이 풍부한 또는 약한 레이블 기반의 베이스라인에 비해 영화 데이터셋에서 더 나은 성능을 내는가?
• RQ5 제안된 방법은 시네마틱 미디어의 다양한 영상 콘텐츠와 외형 변화에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 자기지도 프레임워크는 공존하는 얼굴 트랙을 약한 지도 신호로 활용함으로써 영화 데이터셋에서 얼굴 클러스터링 정확도를 크게 향상시켰다.
• 임베딩 공간에서 근접한 이웃 검색을 통한 하드 예제 채굴은 더 구분력 있는 특징 학습과 향상된 클러스터링 성능를 이끌어냈다.
• 다중시점 공유 부분공간 학습은 도메인 이탈을 효과적으로 줄이고 장시간 영상에서 다양한 얼굴 외형에 대한 일반화 능력을 향상시켰다.
• 영상 공존에서 유도된 약한 레이블 데이터만을 사용하여도 얼굴 인식 및 클러스터링 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 이 연구에서 공개된 대규모 영화 데이터셋은 향후 자동 캐릭터 레이블링 및 영상 이해 분야의 연구에 유용한 자원을 제공한다.