[논문 리뷰] A Jointly Learned Deep Architecture for Facial Attribute Analysis and Face Detection in the Wild

Keke He, Yanwei Fu외 1명|arXiv (Cornell University)|2017. 07. 27.

Face recognition and analysis참고 문헌 34인용 수 11

한 줄 요약

이 논문은 자연 이미지에서 얼굴을 검출하고 얼굴 특징을 예측하는 데 있어, 자르거나 정렬한 입력이 필요 없이 종단 간(end-to-end)으로 작동하는 공동 학습된 딥 아키텍처를 제안한다. 얼굴 검출과 특징 분석 간에 초기 합성곱 특징을 공유함으로써, 두 작업 모두가 향상되며, CelebA 및 LFWA 데이터셋에서 최신 기술 수준의 성능을 달성한다. 성별 예측에서 1.7%의 오류율을 기록했으며, 이는 HyperFace보다 1.3% 향상된 성능이다.

ABSTRACT

Facial attribute analysis in the real world scenario is very challenging mainly because of complex face variations. Existing works of analyzing face attributes are mostly based on the cropped and aligned face images. However, this result in the capability of attribute prediction heavily relies on the preprocessing of face detector. To address this problem, we present a novel jointly learned deep architecture for both facial attribute analysis and face detection. Our framework can process the natural images in the wild and our experiments on CelebA and LFWA datasets clearly show that the state-of-the-art performance is obtained.

연구 동기 및 목표

• 기존 얼굴 특징 분석 방법이 사전 처리된 자르거나 정렬된 얼굴 이미지에 의존하는 한계를 해결하기 위해.
• 자세, 가림, 조명 변화 등 비구속 환경에서 얼굴 검출기의 품질에 의존하는 특징 예측 문제를 해결하기 위해.
• 얼굴 검출과 얼굴 특징 예측 간의 내재된 상관관계를 활용하여 상호 성능 향상을 이루기 위해.
• 사전 얼굴 정렬 없이도 원시적이고 처리되지 않은 이미지에서 직접 얼굴 특징을 예측할 수 있도록 하여, 이전에 얼굴 정렬이 필요로 하는 절차를 제거하기 위해.
• 종단 간 공동 학습을 통해 CelebA 및 LFWA와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 원시 이미지에서 특징를 추출하기 위해 공유된 합성곱 기반 구조(conv1–conv5)를 사용하여 두 작업의 공동 학습을 가능하게 한다.
• 최종 특징 맵 상의 얼굴 후보 영역에 대해 영역 관심(Region of Interest, RoI) 풀링을 적용하여 고정 길이의 벡터를 생성하여 후속 작업에 활용한다.
• 얼굴 영역 후보 제안 레이어는 검출을 위한 후보 영역을 생성하여 네트워크가 잠재적인 얼굴 위치에 집중할 수 있도록 한다.
• 공유된 특징 위에 두 개의 별도한 서브네트워크(fc6, fc7)를 구축하여 얼굴 검출과 얼굴 특징 예측을 공동 최적화한다.
• 검출 및 특징 분류 목표를 통합한 다중 작업 손실을 사용하여 네트워크를 종단 간으로 훈련시킨다.
• 공유된 특징을 활용하여 얼굴이 부분적으로 가려지거나 평면 외부에 있을 경우에도 검출 및 특징 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비구속 환경에서 얼굴 검출과 얼굴 특징 분석의 공동 학습이 두 작업의 성능 향상에 기여하는가?
• RQ2 이미지 자르기 및 정렬이 필요 없어지는 것이 실제 세계의 얼굴 특징 예측에서 일반화 성능 향상에 기여하는가?
• RQ3 자세, 가림, 조명 변화에 대한 모델의 강건성 향상에 얼굴 검출과 특징 예측 간 상관관계가 어떻게 기여하는가?
• RQ4 단일 종단 간 딥 네트워크가 별도의 검출 및 특징 분석 모델을 사용하는 파ipelined 접근 방식을 능가할 수 있는가?
• RQ5 특징 예측이 도전적인 상황에서 얼굴 검출 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 모델은 CelebA 데이터셋에서 성별 특징 예측에서 1.7%의 오류율을 기록하여 HyperFace보다 1.3% 향상된 성능을 달성했다.
• CelebA 데이터셋에서 기준 자르기 및 정렬 모델 대비 40개의 얼굴 특징 중 27개에서 분류 오류율이 향상되었다.
• 공동 학습 프레임워크는 CelebA에서 얼굴 검출의 AUC가 0.982를 기록하여 Dlib 검출기(AUC 0.938)를 초월했다.
• 모델은 CelebA 데이터셋의 모든 40개 특징에서 정량적 비교를 통해 최신 기술 수준의 성능을 보였다.
• 정성적 분석을 통해 공유 특징 맵이 큰 자세나 가림 상황에서도 핵심 얼굴 영역에서 강하게 활성화됨을 확인했다.
• 외부 데이터나 이미지 정렬 등의 사전 처리 단계 없이도 CelebA 및 LFWA 데이터셋에서 최신 기술 수준의 성능을 달성했다.