[논문 리뷰] Bringing Cartoons to Life: Towards Improved Cartoon Face Detection and Recognition Systems

Saurav Jha, Nikhil Agarwal외 1명|arXiv (Cornell University)|2018. 04. 05.

Face recognition and analysis참고 문헌 32인용 수 10

한 줄 요약

이 논문은 MTCNN를 사용한 검출과 얼굴 키포인트 좌표를 통합한 두 가지 새로운 모델—Inception v3+SVM 및 하이브리드 CNN(HCNN)—를 활용한 딥러닝 기반의 만화 얼굴 검출 및 인식 프레임워크를 제안한다. HCNN 모델은 클래스 다양성이 높은 환경에서 뛰어난 안정성을 보이며, Inception v3+SVM는 만화 얼굴의 성별 인식에서 F1 스코어 0.910으로 새로운 최고 성능을 기록한다.

ABSTRACT

Given the recent deep learning advancements in face detection and recognition techniques for human faces, this paper answers the question "how well would they work for cartoons'?" - a domain that remains largely unexplored until recently, mainly due to the unavailability of large scale datasets and the failure of traditional methods on these. Our work studies and extends multiple frameworks for the aforementioned tasks. For face detection, we incorporate the Multi-task Cascaded Convolutional Network (MTCNN) architecture and contrast it with conventional methods. For face recognition, our two-fold contributions include: (i) an inductive transfer learning approach combining the feature learning capability of the Inception v3 network and the feature recognizing capability of Support Vector Machines (SVMs), (ii) a proposed Hybrid Convolutional Neural Network (HCNN) framework trained over a fusion of pixel values and 15 manually located facial keypoints. All the methods are evaluated on the Cartoon Faces in the Wild (IIIT-CFW) database. We demonstrate that the HCNN model offers stability superior to that of Inception+SVM over larger input variations, and explore the plausible architectural principles. We show that the Inception+SVM model establishes a state-of-the-art F1 score on the task of gender recognition of cartoon faces. Further, we introduce a small database hosting location coordinates of 15 points on the cartoon faces belonging to 50 public figures of the IIIT-CFW database.

연구 동기 및 목표

• 예술적 변형과 제한된 데이터셋으로 인해 만화 얼굴 검출 및 인식을 위한 강력한 딥러닝 시스템의 부족을 해결하기 위해.
• 기존의 HOG 및 하르 특징 기반 방법을 초월하여 만화 얼굴 검출 성능을 향상시키기 위해.
• 얼굴 키포인트 위치를 통합한 새로운 딥러닝 아키텍처를 개발하고 평가하여 인식 정확도를 향상시키기 위해.
• 검출 및 인식 작업에 대해 IIIT-CFW 만화 얼굴 데이터셋에서 최신 기준 성능을 설정하기 위해.
• 미래의 연구를 지원하기 위해 IIIT-CFW 데이터셋에서 50명의 유명 인물에 대해 15개의 얼굴 키포인트 좌표를 포함한 새로운 데이터셋을 공개하기 위해.

제안 방법

• 만화 얼굴 검출을 위해 MTCNN 아키텍처를 채택하고, HOG 및 하르 특징 기반 검출기와의 성능을 비교한다.
• 사전 학습된 Inception v3 네트워크를 특징 추출기로 사용하고, 이후 SVM 및 기울기 부스팅 분류기를 적용하여 인식을 수행한다.
• 원시 픽셀 값과 수동으로 주석 처리된 15점의 얼굴 키포인트 좌표를 통합하는 엔드 투 엔드 학습 가능한 하이브리드 CNN(HCNN) 아키텍처를 제안한다.
• HCNN에서 스케일 연결(skip connections)과 배치 정규화를 활용하여 학습 안정성 향상과 수렴 성능 향상을 도모한다.
• 데이터 증강과 조기 정지 기법을 사용하여 IIIT-CFW 데이터셋에서 모델을 학습하고 과적합을 방지한다.
• 다양한 클래스 수와 입력 변형 조건에서 F1 스코어, 상위 5위 오차율, 정밀도, 재현율, 정확도 등의 지표를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 예술적 변형이 높은 만화 얼굴에 대해 MTCNN는 HOG 및 하르 특징 기반 기존 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ2 수동으로 주석 처리된 얼굴 키포인트 좌표의 통합이 만화 얼굴 인식 모델의 강건성과 정확도를 향상시키는가?
• RQ3 클래스 수가 증가함에 따라 제안된 HCNN 프레임워크가 Inception v3+SVM 모델보다 안정성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 모델의 성능은 만화 얼굴의 성별 인식에서 어떻게 나타나며, 최고 성능을 달성하는가?
• RQ5 Inception v3+SVM 모델은 클래스 다양성이 증가함에 따라 왜 안정성이 낮아지며, HCNN는 이를 어떻게 완화하는가?

주요 결과

• MTCNN 프레임워크는 특히 정면 얼굴에서 진짜 양성률(TPR), 가짜 양성률(FPR), 가짜 음성률(FNR) 측면에서 기존의 턱선과 대칭 기반 검출기 [14]를 초월한다.
• Inception v3+SVM 모델은 성별 인식 작업에서 기존 최고 성능을 기록한 F1 스코어 0.910을 달성한다.
• 얼굴 키포인트 좌표를 입력에 포함시킬 경우, HCNN 모델은 기준 모델 대비 상위 5위 오차율을 5.87% 감소시킨다.
• 클래스 수가 20에서 100으로 증가함에 따라 HCNN와 Inception v3+SVM 간의 성능 격차가 줄어들며, 최종적으로 HCNN가 상위 5위 오차율에서 후자를 앞선다.
• Conv2D 레이어 이후에 스케일 연결을 적용하는 것(배치 정규화 이후가 아님)이 학습 안정성을 크게 향상시켜 수렴에 필요한 에포크 수를 103에서 47로 감소시킨다.
• 클래스 다양성이 증가함에 따라 HCNN 모델은 Inception v3+SVM보다 더 뛰어난 안정성을 보이며, 이는 대규모 만화 얼굴 인식에 대한 더 나은 일반화 능력을 시사한다.