[논문 리뷰] High Resolution Face Completion with Multiple Controllable Attributes via Fully End-to-End Progressive Generative Adversarial Networks

Zeyuan Chen, Shaoliang Nie외 2명|arXiv (Cornell University)|2018. 01. 23.

Advanced Image Processing Techniques인용 수 30

한 줄 요약

이 논문은 구조적이고 외형적으로 일관성 있는 고해상도 얼굴 보완을 위한 완전한 엔드 투 엔드 프로그레시브 GAN을 제안한다. 저해상도에서 고해상도로 점진적으로 훈련하면서 조건부 벡터를 활용해 속성 제어를 가능하게 한다. 단일 순방향 전파로 1024×1024 해상도에서 날카럽고 현실적인 얼굴을 생성하며 평균 추론 시간은 단지 0.007초이다.

ABSTRACT

We present a deep learning approach for high resolution face completion with multiple controllable attributes (e.g., male and smiling) under arbitrary masks. Face completion entails understanding both structural meaningfulness and appearance consistency locally and globally to fill in "holes" whose content do not appear elsewhere in an input image. It is a challenging task with the difficulty level increasing significantly with respect to high resolution, the complexity of "holes" and the controllable attributes of filled-in fragments. Our system addresses the challenges by learning a fully end-to-end framework that trains generative adversarial networks (GANs) progressively from low resolution to high resolution with conditional vectors encoding controllable attributes. We design novel network architectures to exploit information across multiple scales effectively and efficiently. We introduce new loss functions encouraging sharp completion. We show that our system can complete faces with large structural and appearance variations using a single feed-forward pass of computation with mean inference time of 0.007 seconds for images at 1024 x 1024 resolution. We also perform a pilot human study that shows our approach outperforms state-of-the-art face completion methods in terms of rank analysis. The code will be released upon publication.

연구 동기 및 목표

• 구조적이고 외형적으로 일관성 있는 고해상도 얼굴 보완 문제를 해결한다.
• 합성된 얼굴 영역에서 다수의 속성(예: 성별, 표정) 제어를 가능하게 한다.
• 후처리 단계나 반복 추론을 제거하기 위해 완전한 엔드 투 엔드 프레임워크를 설계한다.
• 이전 방법들이 큰 마스크, 저해상도 또는 속성 제어 기능 부족으로 인해 실패하는 한계를 극복한다.

제안 방법

• 저해상도에서 고해상도로 점진적으로 성장하는 프로그레시브 GAN 아키텍처를 훈련하여 근본적인 구조에서 세밀한 얼굴 구조를 학습한다.
• 조건부 벡터를 생성기 내에 통합하여 '남성'이나 '웃는' 등의 속성을 합성 중에 명시적으로 제어한다.
• 다중 해상도 판별기와 보완 네트워크를 설계하여 크로스 스케일 특징을 활용해 현실성과 세부 사항을 향상시킨다.
• 날카움과 인지적 품질을 강조하는 새로운 손실 함수를 도입하여 질감의 정확성을 향상시킨다.
• 후처리 단계 없이 완전한 엔드 투 엔드 훈련 파라다임을 사용하여 단일 패assing 추론을 가능하게 한다.
• 조건부 노이즈 주입과 스케일 연결을 활용해 생성된 얼굴의 정체성과 대칭성을 유지한다.

실험 결과

연구 질문

• RQ1 프로그레시브 GAN 프레임워크는 1024×1024 해상도에서 구조적이고 외형적으로 일관성 있는 얼굴 보완을 달성할 수 있는가?
• RQ2 성별, 표정 등 속성 제어가 현실감을 해치지 않도록 효과적으로 얼굴 보완 GAN에 통합될 수 있는가?
• RQ3 완전한 엔드 투 엔드, 단일 패assing 추론 접근 방식이 후처리 또는 반복 보정이 필요한 방법보다 우월한가?
• RQ4 유사한 패턴이 맥락이나 외부 데이터셋에 존재하지 않는 큰 또는 복잡한 마스크 상황에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 방법은 1024×1024 얼굴 이미지당 평균 추론 시간이 0.007초로 실시간 보완을 가능하게 한다.
• 32명의 참가자로 구성된 피LOT 사용자 연구에서, 현실감 측면에서 CE 및 GL 기준선보다 유의미하게 높은 평가를 받았다(p < 0.001).
• 기존 최상위 기술 대비 더 날카롭고 세밀한 디테일(예: 얼굴 질감, 주름)을 생성한다.
• 조건부 벡터를 통해 '남성'이나 '웃는' 등의 속성을 제어하여 일관되고 자연스러운 속성 기반 출력을 성공적으로 생성한다.
• 강력한 성능에도 불구하고, 일부 경우에 저수준의 피부 질감(예: 주름, 땀샘)을 포착하지 못하거나 눈 색깔이 맞지 않는 비대칭적 특징을 생성할 수 있다.
• CE 대비 인지적 품질과 날카움에서 우수한 성능을 보였지만, 일부 사용자는 특정 경우에서 CE의 흐린 출력이 더 매력적으로 느껴졌다고 평가했다.