[논문 리뷰] Leveraging Mid-Level Deep Representations For Predicting Face Attributes in the Wild

Yang Zhong, Josephine Sullivan외 1명|arXiv (Cornell University)|2016. 02. 04.

Face recognition and analysis인용 수 8

한 줄 요약

이 논문은 사전 훈련된 얼굴 분류 네트워크에서 추출한 중위수 컨볼루션 신경망(CNN) 특징을 이용하여 제약 없는 환경에서 얼굴 특징을 예측하는 방법을 제안한다. 고수준의 완전 연결층 대신 중위수 층(C3–C6)을 사용함으로써, CelebA(89.8%)와 LFWA(85.9%)에서 최신 기술 수준(SOTA)의 정확도를 달성하였다. 이는 중위수 특징이 고수준의 추상화보다 공간적 세부 정보와 국소적 분류 패턴을 더 잘 유지하기 때문이며, 얼굴 인식과 특징 예측을 동시에 수행할 수 있는 효율적이고 통합된 모델을 가능하게 한다.

ABSTRACT

Predicting facial attributes from faces in the wild is very challenging due to pose and lighting variations in the real world. The key to this problem is to build proper feature representations to cope with these unfavourable conditions. Given the success of Convolutional Neural Network (CNN) in image classification, the high-level CNN feature, as an intuitive and reasonable choice, has been widely utilized for this problem. In this paper, however, we consider the mid-level CNN features as an alternative to the high-level ones for attribute prediction. This is based on the observation that face attributes are different: some of them are locally oriented while others are globally defined. Our investigations reveal that the mid-level deep representations outperform the prediction accuracy achieved by the (fine-tuned) high-level abstractions. We empirically demonstrate that the midlevel representations achieve state-of-the-art prediction performance on CelebA and LFWA datasets. Our investigations also show that by utilizing the mid-level representations one can employ a single deep network to achieve both face recognition and attribute prediction.

연구 동기 및 목표

• 실세계의 변형 조건에서 사전 훈련된 CNN의 중위수 표현이 고수준 특징보다 얼굴 특징 예측에 더 우수한지 조사하기 위해.
• 계층적 특징을 사용하여 단일 딥 네트워크가 동시에 얼굴 인식과 특징 예측을 지원할 수 있는지 확인하기 위해.
• 다양한 네트워크 층에서 표현 품질, 계산 효율성, 공간 정보 보존 간의 상호 상충 관계를 평가하기 위해.
• 특정 얼굴 구성 요소와 관련된 특징(예: '목도르리 착용')에 대해 압축되고 국소화된 표현(예: C6에서 유도)이 가능한지 탐색하기 위해.
• 전체 네트워크 재훈련 없이도 중위수 특징이 최신 기술 수준 성능을 초월할 수 있음을 입증하기 위해.

제안 방법

• WebFace 데이터셋의 35만 장의 이미지를 사용하여 얼굴 분류 CNN을 미세 조정하였으며, PReLU 활성화 함수, 드롭아웃(0.5), 데이터 증강(뒤집기, 저편위, 회전)을 적용하였다.
• 훈련된 CNN의 여러 층(C2부터 F2까지)에서 계층적 특징을 추출하였으며, 이는 컨볼루션 층(C2–C6)과 완전 연결 층(F1, F2)을 포함한다.
• CelebA 및 LFWA 데이터셋에서 40개의 얼굴 특징을 예측하기 위해 각 층의 특징에 선형 분류기(SVM 또는 로지스틱 회귀)를 훈련시켰다.
• 모든 특징에 대한 평균 정확도를 사용하여 성능을 평가하고, 다양한 층 간의 결과를 비교하여 최적의 표현 수준을 규명하였다.
• 작은 척도의 특징 예측(예: '눈 아래 부은 것')에 미치는 영향을 평가하기 위해 입력 크기 조정(입력 해상도를 두 배로 증가)을 탐색하였다.
• 특정 얼굴 구성 요소에 연관된 특징(예: '목도르리 착용')을 가진 고정된 공간 분포를 가지는 C6 층의 압축된 표현(3×2×256)을 분석하여 메모리와 정확도 간의 상충 관계를 테스트하였다.

실험 결과

연구 질문

• RQ1 제약 없는 조건에서 중위수 CNN 특징(C3–C6 등)이 고수준 특징(F1, F2 등)보다 얼굴 특징 예측에 더 우수한가?
• RQ2 얼굴 분류를 위해 훈련된 단일 딥 네트워크가 중간 층 특징을 활용하여 효과적으로 특징 예측을 수행할 수 있는가?
• RQ3 다양한 층의 공간 해상도와 수신 영역 크기가 '안경 착용'이나 '수염'과 같은 국소적 특징 예측에 어떻게 영향을 미치는가?
• RQ4 압축되고 국소화된 표현(C6 등에서 유도)이 메모리와 계산 비용을 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ5 입력 이미지 해상도가 '눈 아래 부은 것'과 같은 미세한 특징 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 중위수 표현(C3–C6)은 평균 정확도 89.8%로 CelebA에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이는 이전 SOTA(87%)를 초월한다.
• LFWA 데이터셋에서 중위수 특징는 평균 정확도 85.9%를 기록하여 이전 SOTA(84%)를 능가하였다.
• 입력 크기를 두 배로 늘린 경우 C3 층에서 '눈 아래 부은 것' 예측 정확도가 가장 높은 83.63%를 기록하여 공간 세부 정보에 민감함을 시사하였다.
• C6 층(3×2×256)은 국소적으로 정의된 특징에 대해 평균 정확도 89.3%를 유지하여 성능 손실 없이 메모리 효율적인 표현을 가능하게 하였다.
• 고수준 특징(F1, F2)는 계산 비용이 높고 국소적 특징에 대해 덜 효과적이었으며, 중위수 특징는 특징 분류에 필수적인 공간적 구조를 잘 유지하였다.
• 본 연구는 단일 얼굴 분류 CNN이 계층적 특징을 활용하여 얼굴 인식과 특징 예측을 동시에 수행할 수 있음을 입증하였으며, 모델 복잡도와 훈련 오버헤드를 감소시켰다.