[논문 리뷰] WebCaricature: a benchmark for caricature recognition

Jing Huo, Wenbin Li외 3명|arXiv (Cornell University)|2017. 03. 09.

Face recognition and analysis참고 문헌 29인용 수 49

한 줄 요약

이 논문은 컴퓨터 비전 분야에서 카리커처 인식 연구를 촉진하기 위해 252명의 주제에서 유래한 총 12,016개의 카리커처 및 사진 쌍을 포함하는 대규모 벤치마크 데이터셋인 WebCaricature를 소개한다. 이 데이터셋은 얼굴 랜드마크, 평가 프로토콜, 딥 러닝 및 메트릭 러닝 기반의 베이스라인 결과를 제공하며, 교차 모odal 인식에서 최첨단 방법이 단 55.53%의 랭크-1 정확도를 기록한 점을 감안할 때 향상 여지가 크다는 점을 드러낸다.

ABSTRACT

Studying caricature recognition is fundamentally important to understanding of face perception. However, little research has been conducted in the computer vision community, largely due to the shortage of suitable datasets. In this paper, a new caricature dataset is built, with the objective to facilitate research in caricature recognition. All the caricatures and face images were collected from the Web. Compared with two existing datasets, this dataset is much more challenging, with a much greater number of available images, artistic styles and larger intra-personal variations. Evaluation protocols are also offered together with their baseline performances on the dataset to allow fair comparisons. Besides, a framework for caricature face recognition is presented to make a thorough analyze of the challenges of caricature recognition. By analyzing the challenges, the goal is to show problems that worth to be further investigated. Additionally, based on the evaluation protocols and the framework, baseline performances of various state-of-the-art algorithms are provided. A conclusion is that there is still a large space for performance improvement and the analyzed problems still need further investigation.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 카리커처 인식을 위한 대규모, 다양한 종류, 잘 애너테이션된 데이터셋의 부족 문제를 해결하기 위해.
• 모두가 공정하게 비교할 수 있도록 표준화된 벤치마크와 평가 프로토콜을 마련하기 위해.
• 사진과 카리커처 간의 모달리티 갭과 개인 내 변동성 등 카리커처 인식의 주요 과제를 분석하기 위해.
• 수작업 특징과 딥 러닝 특징, 정렬 및 메트릭 러닝 기법을 활용한 기초 성능 결과를 제공하기 위해.
• 모달리티 불변 특징 학습 및 카리커처용 랜드마크 검출 분야의 열린 문제를 규명하고 향후 연구 방향을 안내하기 위해.

제안 방법

• 웹 소스에서 6,024개의 카리커처와 5,974장의 얼굴 사진을 수집하여 WebCaricature 데이터셋을 구축하였으며, 다양한 예술 스타일과 높은 개인 내 변동성을 포함한다.
• 정렬 및 특징 추출을 지원하기 위해 자동화된 방법과 수동 검증을 조합하여 모든 이미지에 얼굴 랜드마크를 애너테이션하였다.
• 세 가지 평가 프로토콜을 설정: 확인(정밀도 0.1% 및 1%인 FAR 기준), 식별(랭크-1 및 랭크-10), 제한된/비제한된 설정.
• 다단계 프레임워크를 제안: 얼굴 정렬(눈 기반 및 경계상자 기반), 특징 추출(SIFT 및 VGG-Face), 메트릭 러닝(PCA 및 ITML/KCSR).
• KCSR(Kernelized Correlation Subspace)를 적용하여 사진과 카리커처 간의 모달리티 이탈을 감소시켜 도메인 간 일반화 능력을 향상시켰다.
• 수작업 특징(SIFT)과 딥 러닝 특징(VGG-Face)을 모두 사용하여 기초 모델을 평가하였으며, 부분공간 및 메트릭 러닝을 조합하여 다양한 설정에서의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 최첨단 인식 모델의 성능는 예술적 변동성이 높은 카리커처라는 도메인에 어떻게 일반화되는가?
• RQ2 눈 기반 정렬과 경계상자 기반 정렬 전략 중 어떤 것이 카리커처 인식 정확도에 더 큰 영향을 미치는가?
• RQ3 KCSR와 같은 메트릭 러닝 방법이 사진과 카리커처 간의 모달리티 갭을 어느 정도 줄일 수 있는가?
• RQ4 카리커처에 존재하는 극단적인 왜곡을 다룰 때 딥 러닝 특징와 수작업 특징 중 어떤 것이 더 우수한가?
• RQ5 현재 카리커처 인식 시스템의 주요 병목 현상은 무엇이며, 향후 연구에서 가장 유망한 방향은 무엇인가?

주요 결과

• 가장 높은 성능을 기록한 방법인 VGG-Box-KCSR는 C2P(Caricature-to-Photo) 설정에서 단 55.41%의 랭크-1 정확도를 기록하여 향상 여지가 크다는 점을 시사한다.
• P2C(Photo-to-Caricature) 설정에서는 최고 성능이 55.53%의 랭크-1 정확도를 기록하여 교차 모달 일반화 능력에 유사한 한계가 있음을 보여준다.
• 딥 러닝 특징(VGG-Face)은 수작업 특징(SIFT)보다 유의미하게 뛰어나며, 특히 모달리티 적응을 위한 KCSR와 조합했을 때 성능 향상이 두드러진다.
• KCSR는 모든 설정에서 일관되게 성능 향상을 이끌어내어 사진과 카리커처 간 도메인 이탈 감소에 효과적이라는 점을 입증한다.
• 최적의 정렬 및 특징 학습을 적용한 후에도 성능가 아직 포화 상태에 도달하지 못하고 있어, 향후 더 나은 정렬 및 모달리티 불변 표현 학습 기술이 필요하다는 점을 시사한다.
• 비제한 설정에서 제한 설정보다 더 높은 성능을 기록하여 더 유연한 정렬 및 특징 학습 방식이 카리커처의 다양성에 더 잘 대응할 수 있음을 시사한다.