[논문 리뷰] Face Attribute Prediction Using Off-The-Shelf Deep Learning Networks

Yang Zhong, Josephine Sullivan외 1명|arXiv (Cornell University)|2016. 02. 12.

Face recognition and analysis참고 문헌 15인용 수 4

한 줄 요약

이 논문은 얼굴 속성 예측에서 사전 훈련된, 즉시 사용 가능한 딥 컨volution 신경망(CNN)을 활용하여 얼굴 특징을 추출하고, 기존의 얼굴 위치 지정 기법과 결합하는 방법을 제안한다. LFWA 및 CeleA 데이터셋에서 사전 훈련된 모델의 다중 수준 CNN 특징을 활용함으로써, 최신의 두 단계 CNN 파ipeline에 비견되는 성능을 달성한다. 이는 깊이 있는 표현 재사용과 전통적 시각 기법을 딥 러닝과 융합하는 데서 잠재력을 보여준다.

ABSTRACT

Attribute prediction from face images in the wild is a challenging problem. To automatically describe face attributes from face containing images, traditionally one needs to cascade three technical blocks --- face localization, facial feature extraction, and classification --- in a pipeline. As a typical classification problem, face attribute prediction has been addressed by using deep learning networks. Current state-of-the-art performance was achieved by using two cascaded CNNs, which were specifically trained to learn face localization and facial attribute prediction. In this paper we experiment in an alternative way of exploring the power of deep representations from the networks: we employ off-the-shelf CNNs trained for face recognition tasks to do facial feature extraction, combined with conventional face localization techniques. Recognizing that the describable face attributes are diverse, we select representations from different levels of the CNNs and investigate their utilities for attribute classification. Experiments on two large datasets, LFWA and CeleA, show that the performance is totally comparable to state-of-the-art approach. Our findings suggest two potentially important questions in using CNNs for face attribute prediction: 1) How to maximally leverage the power of CNN representations. 2) How to best combine traditional computer vision techniques with deep learning networks.

연구 동기 및 목표

• 사전 훈련된 딥 CNN이 얼굴 인식을 위해 훈련된 후, 얼굴 속성 예측을 위한 특징 추출에 효과적으로 활용될 수 있는지 조사하는 것.
• 다양한 층에서 추출된 사전 훈련된 CNN의 특징이 속성 분류에 얼마나 유용한지 평가하는 것.
• 이 즉시 사용 가능한 접근 방식이 전문화된 두 단계 CNN 파이프라인과 비교하여 성능가능성 평가하는 것.
• 기존 컴퓨터 비전 기법(예: 얼굴 위치 지정)을 딥 러닝 표현과 융합하는 방법을 탐색하는 것.
• 다양한 얼굴 속성 예측 작업에서 사전 훈련된 CNN 표현을 최대한 활용하는 데 있어 보다 넓은 과제를 해결하는 것.

제안 방법

• 얼굴 인식을 위해 훈련된 사전 훈련된 딥 CNN을 얼굴 속성에 대한 특징 추출기로 활용하는 것.
• 계층적인 표현을 캡처하기 위해 CNN의 여러 중간 층에서 깊이 있는 특징을 추출하는 것.
• 특징 추출 이전에 얼굴을 탐지하기 위해 기존의 얼굴 위치 지정 기법(예: MTCNN 또는 유사 기법)을 적용하는 것.
• 추출된 CNN 특징에 대해 전통적인 분류기(예: SVM 또는 로지스틱 회귀)를 훈련하여 속성 예측을 수행하는 것.
• 표준 속성 예측 평가 지표를 사용하여 두 개의 벤치마크 데이터셋(LFWA 및 CeleA)에서 성능을 평가하는 것.
• 다양한 네트워크 층이 속성 분류 성능에 기여하는 방식을 분석하는 것.

실험 결과

연구 질문

• RQ1 얼굴 인식을 위해 훈련된 즉시 사용 가능한 사전 훈련된 CNN이 얼굴 속성 예측을 위한 분류 가능한 특징을 효과적으로 추출할 수 있는가?
• RQ2 사전 훈련된 CNN의 다양한 깊이의 층에서 추출된 특징은 속성 분류 성능에 어떻게 기여하는가?
• RQ3 단일 층 특징 대비 다중 수준 CNN 특징을 사용할 경우 성능 향상은 어느 정도인가?
• RQ4 기존의 얼굴 위치 지정 기법과 딥 러닝 특징을 융합한 방법이 엔드 투 엔드로 훈련된 두 단계 CNN과 비교하여 어떻게 성능를 내는가?
• RQ5 다양한 얼굴 속성 예측 작업에서 깊이 있는 표현을 재사용하는 데 있어 주요 과제는 무엇인가?

주요 결과

• 즉시 사용 가능한 CNN을 활용한 제안된 방법은 LFWA 및 CeleA 데이터셋에서 최신의 두 단계 CNN 파이프라인과 비교해 유사한 성능을 달성한다.
• 사전 훈련된 CNN의 여러 층에서 추출된 특징은 속성 예측에 서로 다른 기여를 하며, 중간에서 깊은 층에서 더 강력한 분류 능력을 보인다.
• 기존의 얼굴 위치 지정 기법과 딥 특징을 융합함으로써 속성 예측의 강인성과 일관성이 향상된다.
• 이 연구는 얼굴 인식 모델에서 유래한 사전 훈련된 표현이 파라미터 미세조정 없이도 속성 예측에 매우 이식 가능하다는 것을 입증한다.
• 결과적으로 네트워크 층을 신중히 선택함으로써, 네트워크 재학습 없이도 분류 정확도를 크게 향상시킬 수 있다는 점을 시사한다.