[논문 리뷰] Face Attribute Prediction with classification CNN.

Yang Zhong, Josephine Sullivan외 1명|arXiv (Cornell University)|2016. 02. 04.

Face recognition and analysis참고 문헌 15인용 수 7

한 줄 요약

이 논문은 얼굴 속성 예측에 고수준 특징 대신 중간 수준의 컨volutional 신경망(CNN) 특징을 사용하는 것을 제안하며, 이러한 중간 표현이 국소적이고 전반적인 속성 특징을 더 잘 포착함을 입증한다. 이 방법은 CelebA 및 LFWA 데이터셋에서 최신 기술 수준의 성능을 달성하며, 단일 딥 네트워크가 얼굴 인식과 속성 예측을 모두 수행할 수 있도록 한다.

ABSTRACT

Predicting facial attributes from faces in the wild is very challenging due to pose and lighting variations in the real world. The key to this problem is to build proper feature representations to cope with these unfavorable conditions. Given the success of convolutional neural network (CNN) in image classification, the high-level CNN feature as an intuitive and reasonable choice has been widely utilized for this problem. In this paper, however, we consider the mid-level CNN features as an alternative to the high-level ones for attribute prediction. This is based on the observation that face attributes are different: some of them are locally oriented while others are globally defined. Our investigations reveal that the mid-level deep representations outperform the prediction accuracy achieved by the high-level abstractions. We demonstrate that the mid-level representations achieve state-of-the-art prediction performance on CelebA and LFWA datasets. Our investigations also show that by utilizing the mid-level representations one can employ a single deep network to achieve both face recognition and attribute prediction.

연구 동기 및 목표

• 자세와 조명과 같은 실제 환경에서의 변형에 대응하여 얼굴 속성 예측 문제를 해결하기 위해.
• 중간 수준의 CNN 특징이 속성 예측에 있어 고수준 특징보다 우월한가를 조사하기 위해.
• 얼굴 인식과 속성 예측을 모두 수행할 수 있는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 국소적이고 전반적인 속성 의미를 포착하는 특징 표현을 활용하여 예측 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 고수준 특징 추출에 사용되는 최종 완전 연결 층이 아닌, 중간 레이어에서 추출된 중간 수준의 특징을 사용한다.
• 중간 수준의 특징는 국소적인 얼굴 구성 요소(예: 눈, 코)와 더 넓은 얼굴 구조를 모두 표현할 수 있는 능력에 기반하여 선택된다.
• CelebA 및 LFWA 데이터셋에서 이진 교차 엔트로피 손실을 사용하여 속성 예측을 위한 엔드 투 엔드 학습이 수행된다.
• 다중 작업 학습을 통해 단일 딥 네트워크를 얼굴 인식 및 속성 예측 작업에 동시에 최적화한다.
• 특징 시각화와 추상화 연구를 통해 중간 수준 특징의 표현 품질을 검증한다.
• 모델 아키텍처는 표준 CNN 백본을 기반으로 하며, 속성 예측을 위해 중간 수준의 특징 맵에 분류 헤드가 적용된다.

실험 결과

연구 질문

• RQ1 실제 환경의 변형 조건에서 중간 수준의 CNN 특징이 고수준 특징보다 얼굴 속성 예측에서 더 우수한가?
• RQ2 중간 수준의 표현이 국소적이고 전반적인 얼굴 속성 모두를 효과적으로 모델링할 수 있는가?
• RQ3 중간 수준의 특징을 사용하여 단일 딥 네트워크를 얼굴 인식과 속성 예측을 동시에 수행하도록 훈련하는 것이 가능한가?
• RQ4 고수준 추상화에 비해 중간 수준의 특징이 예측 정확도에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• 중간 수준의 CNN 특징은 얼굴 속성 예측에서 CelebA 및 LFWA 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 제안된 방법은 고수준 CNN 특징을 사용하는 모델보다 우수하며, 특히 국소적 의존성이 강한 속성에 대해 두드러진 성능 향상을 보인다.
• 중간 수준 표현의 사용은 단일 딥 네트워크가 얼굴 인식과 속성 예측을 함께 수행할 수 있도록 하여 효율성을 향상시킨다.
• 실험 결과에 따르면 중간 수준 특징는 국소적이고 전반적인 얼굴 속성 모두에 대해 분류 가능한 패턴을 더 잘 포착한다.
• 추상화 연구 결과, 중간 수준 특징는 고수준 특징보다 다양한 속성 유형에 걸쳐 더 균형 잡힌 표현을 제공함을 확인한다.