[논문 리뷰] Load Balanced GANs for Multi-view Face Image Synthesis

Jie Cao, Yibo Hu외 3명|arXiv (Cornell University)|2018. 02. 21.

Face recognition and analysis참고 문헌 19인용 수 19

한 줄 요약

이 논문은 얼굴 정규화(프론트얼라이징)와 자세 회전 편집이라는 두 가지 제약 조건이 부여된 하위 작업으로 분해함으로써 다중 시점 얼굴 이미지 합성을 위한 로드 밸런스 GAN(LB-GAN)을 제안한다. 조건부 자기 사이클 및 주의 기반 L2 손실을 사용하는 두 단계 학습 방식으로 훈련된 LB-GAN은 다양한 자세에서 사진 수준의 사실감 있고 신원을 유지하는 얼굴 이미지를 생성하며, 제어된 환경과 비제어 환경 양측에서 자세 불변 얼굴 인식 성능이 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Multi-view face synthesis from a single image is an ill-posed problem and often suffers from serious appearance distortion. Producing photo-realistic and identity preserving multi-view results is still a not well defined synthesis problem. This paper proposes Load Balanced Generative Adversarial Networks (LB-GAN) to precisely rotate the yaw angle of an input face image to any specified angle. LB-GAN decomposes the challenging synthesis problem into two well constrained subtasks that correspond to a face normalizer and a face editor respectively. The normalizer first frontalizes an input image, and then the editor rotates the frontalized image to a desired pose guided by a remote code. In order to generate photo-realistic local details, the normalizer and the editor are trained in a two-stage manner and regulated by a conditional self-cycle loss and an attention based L2 loss. Exhaustive experiments on controlled and uncontrolled environments demonstrate that the proposed method not only improves the visual realism of multi-view synthetic images, but also preserves identity information well.

연구 동기 및 목표

• 일장면 다중 시점 얼굴 합성의 잘 정의되지 않은 문제를 고시각적 사실감과 신원 유지 능력 향상으로 해결하기 위해.
• 잡음이 많은 배경이 있는 비제어 환경에서 외관 왜곡을 줄이고 강건성을 향상시키기 위해.
• 원격 코드를 사용하여 요각(yaw angle)의 정밀한 제어를 가능하게 하기 위해.
• 특징 분리와 신원 일관성을 향상시키는 훈련 전략을 개발하기 위해.
• 합성 데이터를 사용하여 자세 불변 얼굴 인식에서 최신 기술 수준(SOTA)의 성능을 달성하기 위해.

제안 방법

• LB-GAN은 두 쌍의 GAN을 사용한다: 하나는 얼굴 정규화기(입력 이미지를 프론트얼라이닝)이고, 다른 하나는 얼굴 편집기(프론트얼라이닝된 이미지를 목표 자세로 회전)이다.
• 모델은 두 단계 학습 전략을 사용한다: 먼저 얼굴 정규화기를 사전 훈련한 후, 생성기와 판별기를 함께 미세 조정한다.
• 조건부 자기 사이클 손실은 입력 이미지와 재구성된 이미지 간의 사이클 일관성을 강제로 부여하여 배경 노이즈에 대한 강건성을 향상시킨다.
• 주의 기반 L2 손실은 최적화를 얼굴 영역에 집중시켜 아티팩트를 줄이고 신원 세부 정보를 유지한다.
• 원격 코드는 출력의 요각을 제어하여 정밀한 자세 조작을 가능하게 한다.
• 얼굴 편집기는 프론트얼라이닝된 이미지와 원격 코드를 모두 입력으로 사용하여 목표 시점 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 다중 시점 얼굴 합성을 프론트얼라이닝과 자세 회전 하위 작업으로 분해하는 것이 시각적 사실감과 신원 유지 능력을 향상시키는가?
• RQ2 두 단계 학습 전략이 합성 이미지의 특징 품질과 분리도를 향상시키는가?
• RQ3 조건부 자기 사이클 손실과 주의 기반 L2 손실이 비제어 환경에서의 강건성을 얼마나 향상시키는가?
• RQ4 모델은 극단적인 요각에서 사진 수준의 이미지를 생성하면서도 신원 충실도를 유지할 수 있는가?
• RQ5 LB-GAN에서 생성된 합성 데이터의 사용이 자세 불변 얼굴 인식 성능을 향상시키는가?

주요 결과

• Multi-PIE에서 ±15°에서 99.1%의 신원 식별률을 기록했고, ±90°에서는 65.4%를 기록하여 기준 모델보다 뚜렷이 뛰어나다.
• IJB-A에서 92.3%의 정확도와 80.4%의 AUC를 달성하여 FF-GAN과 DR-GAN을 초월하는 자세 불변 얼굴 인식 성능을 확보했다.
• 절단 실험 결과, 두 단계 학습과 정규화 손실이 필수적임을 확인했으며, 이를 제거하면 신원 식별률이 최대 6.4%까지 떨어졌다.
• 조건부 자기 사이클 손실은 배경 노이즈 간섭을 줄여 비제어 환경에서의 시각적 품질을 향상시켰다.
• 합성 이미지의 자세 추정 결과, 실제 이미지와 평균 오차가 3.5° 이내로 나타나 요각 제어의 정확성을 확인했다.
• 정성적 결과는 LB-GAN이 경쟁 기법들보다 더 선명한 얼굴 세부 정보와 더 자연스러운 질감을 생성함을 보여주며, 특히 극단적인 자세에서 뚜렷한 우수성을 입증했다.