[논문 리뷰] Face Attribute Prediction Using Off-the-Shelf CNN Features

Yang Zhong, Josephine Sullivan외 1명|arXiv (Cornell University)|2016. 02. 12.

Face recognition and analysis참고 문헌 19인용 수 25

한 줄 요약

이 논문은 얼굴 인식 모델인 FaceNet와 VGG-Face와 같은 오프더섀프트 사전 훈련된 CNN 특징—특히 중간 단계의 공간적 표현—을 사용하여 얼굴 속성 예측을 제안한다. 엔드 투 엔드 네트워크를 훈련하는 대신 이러한 특징을 활용함으로써, LFWA 및 CelebA 데이터셋에서 최신 기술 성능(SOTA)을 달성하였으며, 더 풍부한 공간적 세부 정보를 지닌 중간 수준의 특징이 고수준 특징보다 속성 예측에 더 효과적임을 입증한다.

ABSTRACT

Predicting attributes from face images in the wild is a challenging computer vision problem. To automatically describe face attributes from face containing images, traditionally one needs to cascade three technical blocks --- face localization, facial descriptor construction, and attribute classification --- in a pipeline. As a typical classification problem, face attribute prediction has been addressed using deep learning. Current state-of-the-art performance was achieved by using two cascaded Convolutional Neural Networks (CNNs), which were specifically trained to learn face localization and attribute description. In this paper, we experiment with an alternative way of employing the power of deep representations from CNNs. Combining with conventional face localization techniques, we use off-the-shelf architectures trained for face recognition to build facial descriptors. Recognizing that the describable face attributes are diverse, our face descriptors are constructed from different levels of the CNNs for different attributes to best facilitate face attribute prediction. Experiments on two large datasets, LFWA and CelebA, show that our approach is entirely comparable to the state-of-the-art. Our findings not only demonstrate an efficient face attribute prediction approach, but also raise an important question: how to leverage the power of off-the-shelf CNN representations for novel tasks.

연구 동기 및 목표

• 사전 훈련된 얼굴 인식 모델에서 온 오프더섀프트 CNN 특징가 다양한 얼굴 속성을 효과적으로 예측할 수 있는지 조사하는 것.
• 사전 훈련된 네트워크의 어떤 층과 특징 유형(공간적, 완전 연결)이 속성 예측에서 최고의 성능을 내는지 결정하는 것.
• 중간 수준의 공간적 특징과 고수준의 완전 연결 특징 간의 성능을 비교하여 얼굴 속성 예측에 있어 어떤 특징이 더 우수한지 평가하는 것.
• FaceNet 및 VGG-Face와 같은 사전 훈련된 모델을 미세조정 없이 0-샷 또는 소수의 샘플로 속성 예측에 활용할 수 있는지 평가하는 것.
• 기존의 얼굴 위치 지정과 사전 훈련된 특징을 조합한 방법이 엔드 투 엔드 딥 러닝 성능을 따라잡을 수 있는지 탐색하는 것.

제안 방법

• 이 방법은 세 단계의 파이프라인을 사용한다: 기존의 얼굴 위치 지정, 오프더섀프트 사전 훈련된 CNN에서의 특징 추출, 속성 분류기의 훈련.
• 사전 훈련된 모델(FaceNet, VGG-Face)을 사용하여 여러 층에서 특징을 추출하며, 공간적 특징 맵(3×3 및 1×1)과 완전 연결 층(FC1, FC2)이 포함된다.
• 각 속성에 대해 다양한 네트워크 층에서 성능이 가장 뛰어난 특징 표현을 선택하여 최종 기술자 특징을 구성한다.
• CNN 가중치를 고정하고 추출된 특징 위에만 최종 속성 분류기만 훈련함으로써 엔드 투 엔드 훈련을 피한다.
• 다양한 입력 크기와 완전 연결 층 차원을 가진 여러 사전 훈련된 아키텍처를 사용하여 LFWA 및 CelebA 데이터셋에서 실험한다.
• 제거 분석을 통해 특징 유형(공간적 대비 완전 연결)과 모델 변종을 비교하여 최적의 특징 소스를 특정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 얼굴 인식 모델에서 온 오프더섀프트 CNN 특징가 미세조정 없이도 얼굴 속성 예측에서 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ2 사전 훈련된 CNN의 어떤 층 유형(공간적 특징 맵 대비 완전 연결 층)이 다양한 얼굴 속성 예측에 가장 효과적인가?
• RQ3 더 깊은 층에서 유도된 중간 수준의 공간적 표현을 사용할 경우, 고수준 특징보다 속성 예측 성능이 향상되는가?
• RQ4 CNN의 수용장역 크기가 오프더섀프트 특징을 사용한 속성 예측 성능에 어떤 영향을 미치는가?
• RQ5 기존의 얼굴 위치 지정과 사전 훈련된 CNN 특징을 조합한 단순한 파이프라인은 복잡한 두 단계 엔드 투 엔드 CNN의 성능을 따라잡을 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 특징 표현은 중간 수준의 공간적 특징(3×3 및 1×1 공간 맵)이었으며, 이는 40개의 속성 중 75% 이상에서 고수준 완전 연결 특징보다 뛰어났다.
• 오프더섀프트 VGG-Face 모델의 중간 수준 공간적 특징가 모든 모델에서 평균 정확도 86%를 기록하여, 심지어 자신의 FC2 층보다도 뛰어났다.
• 평균적으로 3×3 및 1×1 특징 맵에서 유도된 공간적 표현은 86%의 정확도를 기록했으며, 이는 FC2 층(84–85%)의 성능을 맞추거나 초월했다.
• '눈 아래 부은 것', '흐린', '입을 크게 벌린', '백색 피부', ' narrower 눈' 등의 특정 속성은 중간 수준의 공간적 특징이 FC2 특징보다 유의미하게 더 잘 예측했다.
• 가장 큰 수용장역 크기(224×224)를 가진 VGG-Face 모델이 뛰어난 성능을 보였으며, 이는 더 넓은 공간적 맥락이 속성 예측에 도움이 된다는 것을 시사한다.
• FC 층 크기를 512에서 1024로 늘여도 성능 향상이 없었으며, 이는 이 설정에서 특징의 품질이 차원 수보다 더 중요하다는 것을 의미한다.