[논문 리뷰] Anti-Makeup: Learning A Bi-Level Adversarial Network for Makeup-Invariant Face Verification

Yi Li, Lingxiao Song외 3명|arXiv (Cornell University)|2017. 09. 12.

Face recognition and analysis참고 문헌 21인용 수 10

한 줄 요약

이 논문은 제모 이미지에서 사진처럼 생생한 비메이크업 얼굴 이미지를 생성함으로써 메이크업에 강인한 얼굴 인식을 위한 이중 레벨 적대적 네트워크(BLAN)를 제안한다. 픽셀 수준과 특징 수준에서 이중 적대적 손실을 사용하여 신원을 유지하면서 화장 요소를 제거한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 뛰어난 성능과 현실적인 이미지 합성을 입증한다.

ABSTRACT

Makeup is widely used to improve facial attractiveness and is well accepted by the public. However, different makeup styles will result in significant facial appearance changes. It remains a challenging problem to match makeup and non-makeup face images. This paper proposes a learning from generation approach for makeup-invariant face verification by introducing a bi-level adversarial network (BLAN). To alleviate the negative effects from makeup, we first generate non-makeup images from makeup ones, and then use the synthesized non-makeup images for further verification. Two adversarial networks in BLAN are integrated in an end-to-end deep network, with the one on pixel level for reconstructing appealing facial images and the other on feature level for preserving identity information. These two networks jointly reduce the sensing gap between makeup and non-makeup images. Moreover, we make the generator well constrained by incorporating multiple perceptual losses. Experimental results on three benchmark makeup face datasets demonstrate that our method achieves state-of-the-art verification accuracy across makeup status and can produce photo-realistic non-makeup face images.

연구 동기 및 목표

• 메이크업으로 인한 심한 외형 변화로 인한 얼굴 인식 과제를 해결하기 위해.
• 메이크업 이미지에서 비메이크업 얼굴을 합성함으로써 인식의 강인성을 향상시키는 생성 기반 학습 프레임워크를 개발하기 위해.
• 메이크업 제거 과정에서 신원 정보를 유지하면서 동시에 인간이 인지할 수 있는 현실적인 이미지를 생성하기 위해.
• 픽셀 수준과 특징 수준에서 이중 적대적 훈련을 통합하여 메이크업과 비메이크업 얼굴 간의 감지 갭을 줄이기 위해.
• 이미지의 정밀도와 신원 유지 향상을 위해 다중 인지 손실(윤곽, 대칭, 신원 일관성)을 생성기의 제약 조건으로 설정하기 위해.

제안 방법

• 프레임워크는 이중 레벨 적대적 훈련 체계를 사용하여 메이크업 얼굴 이미지를 비메이크업 이미지로 매핑하는 생성기 네트워크를 활용한다.
• 픽셀 수준의 판별기(real non-makeup 이미지와 생성된 이미지 간을 구분)는 사진처럼 생생한 이미지 품질을 향상시킨다.
• 특징 수준의 판별기는 생성된 이미지의 깊은 특징이 실제 비메이크업 이미지의 특징과 일치하도록 보장하여 신원 정보를 유지한다.
• 생성기는 L1 손실, 윤곽 손실(L_edg), 대칭 손실(L_sym), 일관성 손실(L_cons-f) 등의 다중 복구 손실을 사용하여 구조적 일관성을 유지한다.
• 특징 수준의 적대적 손실(L_Df)은 인식 백본의 특징 공간에 적용되어 생성 과정에서의 신원 유지 능력을 향상시킨다.
• 전체 네트워크는 엔드 투 엔드로 훈련되며, 이미지 생성 성능와 인식 성능을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 생성 기반 프레임워크가 메이크업 변화로 인한 얼굴 인식 성능 격차를 효과적으로 줄일 수 있는가?
• RQ2 메이크업 이미지에서 비메이크업 얼굴 이미지를 합성하는 과정에서 신원 정보를 어떻게 유지할 수 있는가?
• RQ3 픽셀 수준과 특징 수준에서의 이중 수준 적대적 훈련이 이미지의 현실성과 인식 정확도 향상에 기여하는 바는 무엇인가?
• RQ4 다중 인지 손실(윤곽, 대칭, 신원 일관성)이 생성된 비메이크업 얼굴의 품질과 정밀도에 미치는 영향은 무엇인가?
• RQ5 메이크업 데이터셋의 크기와 다양성이 제한되어 있을 경우, 모델의 일반화 능력과 성능에 어떤 정도의 영향을 미치는가?

주요 결과

• BLAN은 Dataset 1에서 랭크-1 인식 정확도 94.8%를 달성하여 모든 아블레이션 변형보다 뛰어난 성능을 보이며 최신 기술 수준의 성능을 확립했다.
• 특징 수준의 적대적 손실(L_Df)을 제거할 경우 정확도가 가장 크게 감소(89.6%로 하락)하여, 이는 신원 유지에 있어 핵심적인 역할을 한다는 것을 시사한다.
• 일관성 손실(L_cons-f)이 없을 경우 정확도가 18.3%나 감소(76.5%로 하락)하여, 신원 일관성 유지에 있어 이 손실의 중요성을 확인한다.
• 윤곽 손실과 대칭 손실은 생성된 이미지의 품질 향상에 기여하여 비현실적인 잡음 요소를 줄인다.
• 모델은 사진처럼 생생한 비메이크업 얼굴 이미지를 생성하지만, L1 손실과 제한된 훈련 데이터로 인해 일부 흐릿함이 남아 있다.
• FAM에서 남성 대상에서 성능이 낮은 편이었으며, 이는 훈련 샘플 수가 적고, 메이크업에서 비메이크업으로의 외형 변화 폭이 좁기 때문이다.