[논문 리뷰] An All-In-One Convolutional Neural Network for Face Analysis

Rajeev Ranjan, Swami Sankaranarayanan외 2명|arXiv (Cornell University)|2016. 11. 03.

Face recognition and analysis참고 문헌 5인용 수 21

한 줄 요약

이 논문은 단일 딥 컨volution 신경망(CNN)을 제안하며, 얼굴 검출, 특징점 위치 추정, 자세 추정, 성별 및 미소 분류, 연령 추정, 얼굴 인식/확인을 동시에 수행한다. 도메인 기반 정규화와 얼굴 인식 사전 훈련을 활용한 다중 작업 학습을 통해, 제약이 없는 데이터셋에서 모든 작업에서 최신 기술 성능(SOTA)을 달성하며, 특징의 강건성 향상과 종단 간 시스템에서의 오차 누적 감소를 크게 개선한다.

ABSTRACT

We present a multi-purpose algorithm for simultaneous face detection, face alignment, pose estimation, gender recognition, smile detection, age estimation and face recognition using a single deep convolutional neural network (CNN). The proposed method employs a multi-task learning framework that regularizes the shared parameters of CNN and builds a synergy among different domains and tasks. Extensive experiments show that the network has a better understanding of face and achieves state-of-the-art result for most of these tasks.

연구 동기 및 목표

• 검출, 정렬, 인식을 별개의 모듈로 다루는传통적인 얼굴 분석 파이프라인의 비효율성과 오차 누적 문제를 해결하기 위해.
• 얼굴 정렬 및 연령 추정과 같은 작업에 대해 훈련 데이터가 제한된 문제를, 관련된 작업 간 공유되는 표현을 통해 해결하기 위해.
• 다중 작업 학습(MTL) 프레임워크에서의 공동 훈련을 통해 상호보완적 효과를 활용하여 여러 얼굴 분석 작업의 성능을 향상시키기 위해.
• 도메인 특화 사전 훈련(예: 얼굴 인식에서의 사전 훈련)과 다중 데이터셋 정규화가 특징 학습 및 일반화 능력을 향상시키는지 입증하기 위해.
• 다양한 전용 모델을 하나의 효율적인 CNN 아키텍처로 대체하는 통합형 종단 간 시스템을 개발하기 위해.

제안 방법

• 전체적인 얼굴 특징를 포괄하는 글로벌 및 로컬 특징을 추출하기 위해, 공유된 낮은 계층과 다양한 깊이에서 분기되는 작업별 하위 네트워크를 갖춘 깊은 CNN 아키텍처를 설계한다.
• 강력한 도메인 특화 특징 초기화를 제공하기 위해, 얼굴 인식 모델(Sankaranarayanan 등 [41])의 사전 훈련된 가중치를 사용하여 네트워크를 초기화한다.
• 모든 작업이 저수준의 컨volution 레이어를 공유하는 다중 작업 학습(MTL) 프레임워크를 구현하여 파rameter 정규화 및 일반화 능력 향상을 달성한다.
• 다양한 데이터셋(AFLW, IJB-A, MS-Celeb-1M 등)에서 훈련하여 도메인 기반 정규화를 적용함으로써 다양한 얼굴 변형에 대한 강건성을 향상시킨다.
• 회귀(예: 특징점, 자세, 연령) 및 분류(예: 성별, 미소, 정체성)를 위한 작업별 헤드를 사용하며, 초기 레이어에서 학습된 공유 특징을 활용한다.
• 모든 작업별 손실를 통합한 공동 손실 함수를 사용하여 전체 네트워크를 종단 간으로 미세 조정함으로써, 특징 상호보완성과 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 특수화된 모델에 비해, 단일 딥 CNN이 여러 얼굴 분석 작업을 공동으로 학습함으로써 성능 향상을 이룰 수 있는가?
• RQ2 공유 표현과 도메인 기반 정규화를 통한 다중 작업 학습이 제약이 없는 데이터셋에서 더 나은 일반화 및 강건성을 이끌 수 있는가?
• RQ3 얼굴 인식 작업에서의 사전 훈련이 다양한 얼굴 분석 작업 전반의 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 통합 네트워크가 계열화된 시스템에 비해 오차 누적을 어떻게 줄이고 종단 간 성능을 향상시키는가?
• RQ5 예: 얼굴 검출과 정렬, 연령과 성별 추정과 같은 관련된 작업 간의 상호보완적 효과를 공동 훈련을 통해 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 모델은 얼굴 검출, 특징점 위치 추정, 자세 추정, 성별 및 미소 분류, 연령 추정, 얼굴 인식/확인을 포함한 모든 평가된 작업에서 최신 기술 성능(SOTA)을 달성한다.
• IJB-A 데이터셋에서, 기준 모델 [41] 대비 신뢰도 순위-1 성능에서 1.2% 향상(94.7%), FAR=0.01일 때 확인 성능에서 2.5% 향상(94.7%)을 기록하였으며, 정체성 디스크립터 품질에서 3% 향상되었다.
• 계열화된 처리를 제거함으로써 오차 누적을 줄였으며, 성능 향상의 20%는 향상된 얼굴 정렬 덕분이고, 80%는 더 나은 정체성 디스크립터 학습 덕분이었다.
• 모든 작업에서 HyperFace를 초월하였으며, 얼굴 검출(AUC 0.823 vs. 0.776), 얼굴 정렬(AUC 0.922 vs. 0.871), 확인(FAR=0.01 기준 AUC 0.939 vs. 0.900)에서 모두 우수한 성능을 기록했다.
• Triplet Probabilistic Embedding(TPE) 추가로 성능 향상이 이루어져, FAR=0.01일 때 94.7%의 순위-1 정확도와 0.947의 확인률을 달성하였다.
• 시스템은 평균적으로 3.5초 내에 이미지를 처리하며, 이미지 쌍에 대한 추론 단계는 단지 0.1초가 소요되어, 높은 정확도를 유지하면서도 빠른 쿼리 응답 시간을 제공한다.