[논문 리뷰] Cartoon Face Recognition: A Benchmark Dataset

Yi Zheng, Yifan Zhao외 5명|arXiv (Cornell University)|2019. 07. 31.

Face recognition and analysis참고 문헌 42인용 수 4

한 줄 요약

이 논문은 389,678장의 이미지와 5,013명의 캐릭터에 대한 풍부한 애너테이션을 포함한, 만화 얼굴 인식을 위한 가장 크고 종합적인 벤치마크 데이터셋인 iCartoonFace를 소개한다. 인간의 얼굴 데이터를 활용하여 만화 얼굴 인식 및 검출을 향상시키는 다중 작업 도메인 적응 프레임워크를 제안하였으며, 공동 학습과 도메인 정규화를 통해 최신 기술 수준의 성능을 달성하여 Rank@1 정확도가 84.34%에 도달하였다.

ABSTRACT

Recent years have witnessed increasing attention in cartoon media, powered by the strong demands of industrial applications. As the first step to understand this media, cartoon face recognition is a crucial but less-explored task with few datasets proposed. In this work, we first present a new challenging benchmark dataset, consisting of 389,678 images of 5,013 cartoon characters annotated with identity, bounding box, pose, and other auxiliary attributes. The dataset, named iCartoonFace, is currently the largest-scale, high-quality, richannotated, and spanning multiple occurrences in the field of image recognition, including near-duplications, occlusions, and appearance changes. In addition, we provide two types of annotations for cartoon media, i.e., face recognition, and face detection, with the help of a semi-automatic labeling algorithm. To further investigate this challenging dataset, we propose a multi-task domain adaptation approach that jointly utilizes the human and cartoon domain knowledge with three discriminative regularizations. We hence perform a benchmark analysis of the proposed dataset and verify the superiority of the proposed approach in the cartoon face recognition task. We believe this public availability will attract more research attention in broad practical application scenarios.

연구 동기 및 목표

• 산업 및 학술 응용 분야에서 만화 얼굴 인식을 위한 대규모이고 고품질의 데이터셋 부족 문제를 해결하기 위해.
• 인간 얼굴 인식 데이터셋에서의 지식 전이가 만화 얼굴 인식에 효과적으로 적용될 수 있는지 탐구하기 위해.
• 인간 얼굴 데이터를 활용하여 라벨링 효율성과 정확도를 향상시키는 반자동 애너테이션 파이프라인을 개발하기 위해.
• 다양한 실제 환경 조건 하에서 만화 얼굴 인식 및 얼굴 검출 작업을 위한 기준을 설정하기 위해.
• 다중 작업 도메인 적응 기법이 인간 얼굴과 만화 얼굴 간의 도메인 갭을 얼마나 효과적으로 줄이는지 평가하기 위해.

제안 방법

• 389,678장의 만화 캐릭터 이미지와 5,013명의 캐릭터를 포함한 대규모 데이터셋인 iCartoonFace를 제안하며, 신원, 바운딩 박스, 3D 자세, 성별 등 다양한 속성에 대해 애너테이션을 수행한다.
• 사전 훈련된 인간 얼굴 검출기 및 분류기를 사전 지식으로 활용하여 만화 얼굴 애너테이션의 속도와 정확도를 향상시키는 반자동 라벨링 알고리즘을 개발한다.
• 분류 손실, 알 수 없는 신원 거부 손실, 도메인 정렬 손실의 세 가지 분류 정규화를 사용하여 인간과 만화 얼굴 데이터를 공동으로 학습하는 다중 작업 도메인 적응 프레임워크를 도입한다.
• 공동 백본(예: DenseNet-169)을 사용하고, 얼굴 인식 및 검출에 특화된 헤드를 별도로 구성하여 도메인 간 지식 전이를 가능하게 한다.
• 클래스 불균형 문제를 해결하고 하드 샘플에서의 성능 향상을 위해 Focal Loss와 ArcFace를 조합한 F-ArcFace를 적용한다.
• 다양한 얼굴 영역 확장 비율(0.0에서 1.0까지)을 적용한 데이터 증강 기법을 사용하여 맥락 정보의 영향을 인식 정확도에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 인간 얼굴 인식 데이터셋에서의 지식 전이가 만화 얼굴 인식 성능 향상에 효과적으로 적용될 수 있는가?
• RQ2 예를 들어 헤어, 액세서리 등의 맥락 정보 포함 여부가 만화 얼굴 인식 성능에 어떤 영향을 미치는가?
• RQ3 인간과 만화 얼굴 도메인에서 공동 학습을 위한 다중 작업 도메인 적응 손실의 최적 구성은 무엇인가?
• RQ4 인간 얼굴 데이터를 활용한 반자동 라벨링이 만화 데이터셋의 라벨링 효율성과 정확도를 얼마나 향상시키는가?
• RQ5 iCartoonFace 벤치마크에서 최신 기술 수준의 모델 성능은 다양한 데이터 증강 및 도메인 적응 전략에 따라 어떻게 변화하는가?

주요 결과

• 모든 세 가지 손실(분류, 알 수 없는 신원 거부, 도메인 정렬)을 포함한 제안된 다중 작업 도메인 적응 모델이 iCartoonFace에서 가장 높은 Rank@1 정확도 84.34%를 기록하여 베이스라인 모델을 초월하였다.
• 훈련 과정에 인간 얼굴 데이터(예: WiderFace)를 포함시킴으로써 만화 얼굴 검출 정확도가 91.0%에서 92.4%로 향상되었다.
• 원본보다 75% 더 큰 영역(0.75× 확장)으로 얼굴 영역을 확장한 경우가 가장 뛰어난 인식 성능을 보였으며, 이 경우 Rank@1은 78.29%, Rank@5는 89.95%에 도달하였다.
• F-ArcFace는 다른 최신 기술 수준의 모델보다 뛰어난 성능을 보이며 83.96%의 Rank@1 정확도를 기록하여, 만화 얼굴 인식에서 하드 샘플 처리에 Focal Loss의 유용성을 입증하였다.
• 제거 실험을 통해 도메인 정렬 손실이 성능 향상에 핵심적인 역할을 하며, 도메인 간 일반화 능력을 크게 향상시킴을 확인하였다.
• 반자동 라벨링 파이프라인이 라벨링 비용을 효과적으로 줄였고, 높은 품질의 애너테이션을 유지하면서 대규모이고 풍부한 애너테이션을 가진 데이터셋 구축을 가능하게 하였다.