[논문 리뷰] Aggregation via Separation: Boosting Facial Landmark Detector with Semi-Supervised Style Translation

Shengju Qian, Keqiang Sun외 3명|arXiv (Cornell University)|2019. 08. 18.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 조건부 variational autoencoder를 사용하여 얼굴 이미지를 스타일 공간과 구조 공간으로 분리하는 반감독 학습 기반 얼굴 랜드마크 검출 프레임워크를 제안한다. 이후 스타일 번역을 통해 합성된 스타일 증강 이미지를 생성함으로써 검출 성능을 향상시킨다. 이 방법은 WFLW, 300W, COFW, AFLW에서 최고 성능을 기록하며, 특히 데이터가 적은 환경에서 10%의 훈련 데이터에서 기준 모델 대비 상대적 성능 향상률이 최대 94.94%에 이를 정도로 뛰어난 성능을 보였다.

ABSTRACT

Facial landmark detection, or face alignment, is a fundamental task that has been extensively studied. In this paper, we investigate a new perspective of facial landmark detection and demonstrate it leads to further notable improvement. Given that any face images can be factored into space of style that captures lighting, texture and image environment, and a style-invariant structure space, our key idea is to leverage disentangled style and shape space of each individual to augment existing structures via style translation. With these augmented synthetic samples, our semi-supervised model surprisingly outperforms the fully-supervised one by a large margin. Extensive experiments verify the effectiveness of our idea with state-of-the-art results on WFLW, 300W, COFW, and AFLW datasets. Our proposed structure is general and could be assembled into any face alignment frameworks. The code is made publicly available at https://github.com/thesouthfrog/stylealign.

연구 동기 및 목표

• 조명, 가림, 이미지 품질 등의 비제약적 환경 요인으로 인한 얼굴 랜드마크 검출기 성능 저하 문제를 해결하기 위해.
• 추가 애너테이션이나 데이터에 의존하지 않고도 랜드마크 검출기의 일반화 능력과 강건성을 향상시키기 위해.
• 소수의 샘플에서의 얼굴 정렬을 위한 분리 표현 기반 반감독 학습의 잠재력을 탐색하기 위해.
• 기존 얼굴 정렬 아키텍처에 쉽게 통합할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• KL 분산과 스킵 연결을 갖춘 조건부 변동형 자동차오디터(conditional variational autoencoder)를 사용하여 얼굴 이미지를 분리된 스타일 공간과 구조 공간으로 분해한다.
• 학습된 스타일 공간에서 샘플된 다양한 스타일과 주어진 얼굴 구조를 재조합하여 스타일 번역을 수행한다.
• 실제 얼굴 이미지를 새로운 스타일로 변환하면서 얼굴 기하학적 구조를 유지함으로써 합성 훈련 데이터를 생성한다.
• 일致성 정규화를 활용하여 실제 데이터와 합성 데이터를 기반으로 반감독 학습된 랜드마크 검출기를 훈련시킨다.
• 성능 평가를 위해 강력한 기준 모델(SAN)과 ResNet-18을 사용하여 다양한 데이터 비율과 스타일 증강 요소에 따른 성능을 분석한다.
• 합성 데이터의 양과 스타일 다양성이 모델 수렴과 성능에 미치는 영향을 분석하여 도메인 이탈을 제어한다.

실험 결과

연구 질문

• RQ1 이미지의 스타일을 구조에서 분리함으로써 환경적 요인 변화에 대한 랜드마크 검출기의 강건성 향상이 가능한가?
• RQ2 소수의 데이터에서 스타일 증강 합성 데이터를 활용한 반감독 학습이 얼굴 정렬에 얼마나 효과적인가?
• RQ3 과적합을 피하기 위해 최적의 스타일 증강 수는 얼마인가?
• RQ4 제안된 방법이 다양한 벤치마크에서 일반화 가능하며 기존 얼굴 정렬 아키텍처에 통합 가능한가?
• RQ5 분리의 품질이 생성된 스타일 증강 이미지의 현실성과 유용성에 어떤 영향을 미치는가?

주요 결과

• 300W 데이터셋에서 훈련 데이터의 10%만 사용할 경우, 기준 모델 대비 상대적 성능 향상률이 94.94%에 이르며, 뛰어난 데이터 효율성을 입증한다.
• 훈련 데이터의 50%를 사용할 경우 기준 모델(SAN)이 최고 성능을 기록하고, 제안된 방법은 WFLW에서 추가로 15.38% 향상된 성능을 달성한다.
• 이미지당 스타일 증강 수가 8를 초과하면 성능 향상 폭이 감소하며, k=32일 경우 합성 데이터에 과적합되어 성능 저하가 관찰된다.
• 훈련 데이터가 많을수록 분리 품질이 향상되어 가림, 질감 열화와 같은 복잡한 스타일 요소를 점차 잘 포착한다.
• 제안된 방법은 다양한 벤치마크(WFLW, 300W, COFW, AFLW)에서 이전 최고 성능 모델들을 능가하며, 우수한 일반화 능력을 보였다.
• 이 프레임워크는 다양한 얼굴 정렬 아키텍처와 호환되며, 기반 모델이 강력할 경우에도 성능 향상 효과가 뚜렷하다.