[논문 리뷰] Exploring Disentangled Feature Representation Beyond Face Identification

Yu Liu, Fangyin Wei외 4명|arXiv (Cornell University)|2018. 04. 10.

Face recognition and analysis참고 문헌 15인용 수 17

한 줄 요약

이 논문은 신원 특징을 학습하기 위해 적은 감독 정보를 사용하는 D²AE(Distilling and Dispelling Autoencoder)를 제안한다. 이는 두 개의 스트림을 적대적으로 훈련시켜, 한 스트림은 신원에 특화된 특징을 추출하고, 다른 스트림은 신원 정보를 제거하여 보완적인 특징과 변동성을 포착한다. 이 방법은 LFW에서 99.80%의 최고 성능을 달성하며, 신원과 특성 작업 전반에 걸쳐 뛰어난 일반화 능력을 보이는 무 supervision 세밀한 얼굴 편집을 가능하게 한다.

ABSTRACT

This paper proposes learning disentangled but complementary face features with minimal supervision by face identification. Specifically, we construct an identity Distilling and Dispelling Autoencoder (D2AE) framework that adversarially learns the identity-distilled features for identity verification and the identity-dispelled features to fool the verification system. Thanks to the design of two-stream cues, the learned disentangled features represent not only the identity or attribute but the complete input image. Comprehensive evaluations further demonstrate that the proposed features not only maintain state-of-the-art identity verification performance on LFW, but also acquire competitive discriminative power for face attribute recognition on CelebA and LFWA. Moreover, the proposed system is ready to semantically control the face generation/editing based on various identities and attributes in an unsupervised manner.

연구 동기 및 목표

• 최소한의 감독 정보, 특히 신원 레이블만을 사용하여 분리된 보완적인 얼굴 특징을 학습하는 것.
• 동시에 신원에 집중된 특징과 신원을 제거한 특징을 학습하여 특징 표현의 일반화 능력과 완전성을 향상시키는 것.
• 재학습 없이도 후속 작업, 예를 들어 얼굴 특성 인식 및 무 supervision 얼굴 편집과 같은 zero-shot 전이를 가능하게 하는 것.
• 신원 확인 성능를 유지하면서 개인 내부 변동성과 특성 수준의 변동성을 포착하는 통합형 엔드 투 엔드 프레임워크를 제공하는 것.
• 적대적 감독 및 시각화를 통해 특징의 해석 가능성과 분리 정도를 탐색하는 것.

제안 방법

• D²AE 프레임워크는 두 스트림을 가진 자동에코더 아키텍처를 사용한다: 한 스트림은 신원 분류 손실을 통해 신원에 집중된 특징을 학습하고, 다른 스트림은 신원 분류기의 오만함을 유도하기 위해 적대적 훈련을 통해 신원 정보를 제거하는 특징을 학습한다.
• 신원을 제거한 스트림은 신원 예측에 정보가 없는 표현을 생성하도록 유도하는 적대적 손실(L_I^adv)을 사용하여 훈련된다.
• 재구성 손실(L_H)은 잠재 공간에서 입력 이미지의 전체 정보를 유지함으로써 완전성을 확보한다.
• 특성 또는 다른 작업을 위한 추가 애너테이션 없이도 오직 신원 감독만으로 모델을 엔드 투 엔드로 훈련한다.
• 분리된 특징은 신원에 집중된 스트림과 신원을 제거한 스트림을 조합하여 형성되며, 이는 신원 특화 및 특성 특화 표현을 모두 가능하게 한다.
• 재학습이나 제어 유닛 없이도 분리된 구성 요소를 조작하여 의미론적 얼굴 편집을 지원한다.

실험 결과

연구 질문

• RQ1 특성 또는 기타 요인에 대한 명시적 애너테이션이 없이도 오직 신원 감독만으로 분리된 얼굴 특징을 학습할 수 있는가?
• RQ2 신원을 제거한 특징의 적대적 훈련이 학습된 표현의 완전성과 일반화 능력을 향상시키는가?
• RQ3 분리된 특징이 신원 확인 성능를 최고 수준 유지하면서 zero-shot 특성 인식에 얼마나 효과적인가?
• RQ4 분리된 특징이 신원 유지 특성 수정과 같은 무 supervision 의미론적 얼굴 편집을 지원할 수 있는가?
• RQ5 신원에 집중된 특징과 신원을 제거한 특징이 얼굴 확인 및 특성 분류와 같은 다양한 후속 작업에서 각각 어떻게 기여하는가?

주요 결과

• D²AE 모델은 LFW 얼굴 확인 벤치마크에서 99.80%의 정확도를 달성하여 단일 모델로 대부분의 최고 수준 기법을 능가한다.
• CelebA 및 LFWA 특성 인식 벤치마크에서 D²AE는 경쟁적인 성능을 보이며, LFWA에서 평균 83.1%의 정확도와 CelebA에서 83.1%의 정확도를 기록하여 강력한 분리 능력을 입증한다.
• 제거 실험 결과, 신원 적대적 손실(L_I^adv) 또는 재구성 손실(L_H)을 제거할 경우 성능이 크게 떨어지며, 이는 이 손실들이 핵심적인 역할을 한다는 것을 검증한다.
• 신원에 영향을 받지 않는 특성, 예를 들어 '미소 짓고 있는' 또는 '립스틱 착용'에 대해서는 신원을 제거한 특징(D²AE-𝒫)이 신원에 집중된 특징(D²AE-𝒯)보다 뛰어난 성능을 보이며, 반대로 '남성'이나 '검은 머리카락'과 같은 신원 관련 특성에 대해서는 반대의 결과를 보인다.
• 모델는 효과적인 의미론적 얼굴 편집을 가능하게 한다: 분리된 구성 요소를 조작함으로써, 제어 모듈을 재학습하지 않고도 신원 유지 특성 전이 및 보간을 수행할 수 있다.
• t-SNE 시각화 결과, 분리된 특징가 특성에 따라 쉽게 분리됨을 확인하여, 그 해석 가능성과 분리 정도의 우수성을 확인한다.