[논문 리뷰] Deep Learning Face Attributes in the Wild

Ziwei Liu, Ping Luo외 2명|arXiv (Cornell University)|2014. 11. 28.

Face recognition and analysis참고 문헌 25인용 수 103

한 줄 요약

이 논문은 일반 물체와 얼굴 정체성으로 사전 훈련한 후, 이미지 수준의 속성 태그만을 사용하여 약한 지도 학습 기반 얼굴 국소화를 수행하는 LNet과 속성 예측을 위한 ANet를 공동으로 미세조정하는 이중 스트림 딥 러닝 프레임워크인 LNets+ANet을 제안한다. 이 방법은 CelebA와 LFWA에서 최신 기술을 초월하여 최대 10% 높은 정확도를 달성하며, 사전 훈련이 의미적 개념을 탐지하고 바운딩 박스 없이도 국소화를 가능하게 한다고 밝힌다.

ABSTRACT

Predicting face attributes in the wild is challenging due to complex face variations. We propose a novel deep learning framework for attribute prediction in the wild. It cascades two CNNs, LNet and ANet, which are fine-tuned jointly with attribute tags, but pre-trained differently. LNet is pre-trained by massive general object categories for face localization, while ANet is pre-trained by massive face identities for attribute prediction. This framework not only outperforms the state-of-the-art with a large margin, but also reveals valuable facts on learning face representation. (1) It shows how the performances of face localization (LNet) and attribute prediction (ANet) can be improved by different pre-training strategies. (2) It reveals that although the filters of LNet are fine-tuned only with image-level attribute tags, their response maps over entire images have strong indication of face locations. This fact enables training LNet for face localization with only image-level annotations, but without face bounding boxes or landmarks, which are required by all attribute recognition works. (3) It also demonstrates that the high-level hidden neurons of ANet automatically discover semantic concepts after pre-training with massive face identities, and such concepts are significantly enriched after fine-tuning with attribute tags. Each attribute can be well explained with a sparse linear combination of these concepts.

연구 동기 및 목표

• 자세, 조명, 가림 등 복잡한 변형이 존재하는 제약 없는 실생활 이미지에서 얼굴 속성 예측의 과제를 해결하기 위해.
• 훈련 중에 바운딩 박스나 랜드마크가 필요 없이 얼굴 국소화 및 속성 예측을 가능하게 하는 프레임워크를 개발하기 위해.
• 광범위한 물체 카테고리와 얼굴 정체성으로 사전 훈련하는 것이 얼굴 국소화 및 속성 인식을 위한 특징 학습에 어떻게 기여하는지 조사하기 위해.
• 국소적으로 공유되는 필터를 위한 새로운 빠른 순방향 전파 기법을 사용하여 임의의 크기의 이미지에서 효율적이고 실시간으로 추론할 수 있도록 하기 위해.
• 사전 훈련 및 미세조정 과정에서 딥 네트워크가 암묵적으로 학습한 의미적 개념을 밝혀내기 위해.

제안 방법

• LNet은 일반 물체 인식을 위해 ImageNet에서 사전 훈련하여 얼굴 국소화에 적합한 강력한 특징을 학습한 후, 바운딩 박스 없이 이미지 수준의 속성 태그만을 사용하여 미세조정된다.
• ANet는 대규모 얼굴 식별 데이터셋에서 사전 훈련하여 신원 관련 특징을 학습한 후, 속성 태그를 사용하여 속성 예측을 위해 미세조정된다.
• 패치 단위 평가를 대체하여 국소적으로 공유되는 필터의 중복 계산을 줄임으로써, 임의의 크기의 이미지에서 효율적인 추론을 가능하게 하는 새로운 상호 연결된 순방향 연산 방식을 도입한다.
• LNet의 필터 응답 맵을 평균 내어 얼굴 위치에서 강한 공간적 활성화가 발생함을 확인함으로써 얼굴 국소화를 달성한다. 이는 명시적 국소화 지도 없이도 효과적인 국소화 특징를 생성할 수 있음을 보여준다.
• ANet의 완전 연결 층 가중치의 군집 분석을 통해 의미적 개념 탐색을 분석하였으며, 공존 패턴이나 외모 특성과 같은 해석 가능한 속성 그룹화를 발견하였다.
• LNet이 얼굴 영역을 근사적으로 국소화하고, ANet가 국소화된 영역에서 특징을 추출하여 최종 속성 예측을 수행하는 계단식 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 바운딩 박스나 랜드마크가 없이도 이미지 수준의 속성 태그만으로 얼굴 국소화를 효과적으로 학습할 수 있는가?
• RQ2 광범위한 일반 물체 카테고리로 사전 훈련하면, 약한 지도 학습 환경에서 얼굴 국소화 성능이 어떻게 향상되는가?
• RQ3 얼굴 정체성으로 사전 훈련된 네트워크(ANet)의 고수준 뉴런이 성별, 연령, 인종과 같은 의미적 개념을 얼마나 자동으로 탐지하는가?
• RQ4 국소적으로 공유되는 필터를 위한 빠른 단일 패assing 추론 방법을 설계하여 임의의 크기의 입력에 대한 실시간 처리를 가능하게 할 수 있는가?
• RQ5 소규모 신규 레이블 하위 집합으로 미세조정했을 때, 제안된 프레임워크가 새로운 속성에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 LNets+ANet 프레임워크는 CelebA에서 87%의 정확도, LFWA에서 84%의 정확도를 기록하여, PANDA-l(81%)과 FaceTracer(81%)를 3–10%포인트 이상 앞서며 최신 기술을 초월한다. 이는 PANDA-l가 진짜 바운딩 박스를 사용하는 경우에도 해당된다.
• LNet는 바운딩 박스 없이 이미지 수준의 태그만으로도 강력한 얼굴 국소화 성능을 달성한다. 응답 맵을 통해 얼굴 위치에서 강력한 활성화가 발생함을 확인하여, 약한 지도 학습이 강력한 국소화 특징를 생성할 수 있음을 보여준다.
• 대규모 얼굴 정체성으로 ANet를 사전 훈련하면, 인종, 성별, 연령 등 의미 있는 의미적 개념을 탐지할 수 있으며, 이후 속성 미세조정 과정에서 더욱 정교해진다.
• ANet의 완전 연결 층 가중치 행렬은 해석 가능한 속성 그룹화를 드러낸다. 예를 들어, 그룹 #1은 '매력적'과 '강한 메이크업'의 강한 공존 패턴을 보이며, 그룹 #3는 색상 기반 유사성을 반영한다.
• LFWA+에서 30개의 새로운 속성에 대해 테스트한 결과, LNets+ANet는 FaceTracer, PANDA-w, PANDA-l보다 평균 8%, 10%, 3%의 정확도 향상을 기록하여 강력한 일반화 능력을 입증한다.
• 이 방법은 300×300 이미지에서 국소화에 대해 35ms, 특징 추출에 대해 14ms로 추론 시간을 단축시켜 패치 단위 스캔 방식(80ms)을 뛰어넘어 실시간 응용에 적합하다.