[논문 리뷰] A Simple Baseline for StyleGAN Inversion.

Tianyi Wei, Dongdong Chen외 6명|arXiv (Cornell University)|2021. 04. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 13

한 줄 요약

이 논문은 최적화 기반 방법과 유사한 고품질 결과를 달성하면서도 순방향 기반 접근 방식의 속도를 유지하는 단순한 피드포워드 신경망을 제안한다. 얕은 백본과 다중 척도 헤드, 다중 레이어 신원 및 얼굴 파싱 손실, 다단계 정련을 통해 이 방법은 얼굴 이미지 편집 응용 분야에서 효율성과 정밀도의 균형을 이룬다.

ABSTRACT

This paper studies the problem of StyleGAN inversion, which plays an essential role in enabling the pretrained StyleGAN to be used for real facial image editing tasks. This problem has the high demand for quality and efficiency. Existing optimization-based methods can produce high quality results, but the optimization often takes a long time. On the contrary, forward-based methods are usually faster but the quality of their results is inferior. In this paper, we present a new feed-forward network for StyleGAN inversion, with significant improvement in terms of efficiency and quality. In our inversion network, we introduce: 1) a shallower backbone with multiple efficient heads across scales; 2) multi-layer identity loss and multi-layer face parsing loss to the loss function; and 3) multi-stage refinement. Combining these designs together forms a simple and efficient baseline method which exploits all benefits of optimization-based and forward-based methods. Quantitative and qualitative results show that our method performs better than existing forward-based methods and comparably to state-of-the-art optimization-based methods, while maintaining the high efficiency as well as forward-based methods. Moreover, a number of real image editing applications demonstrate the efficacy of our method. Our project page is ~\url{this https URL}.

연구 동기 및 목표

• 실제 얼굴 이미지 편집을 위한 StyleGAN 역행렬화에서 품질과 효율성 간의 상충 관계를 해결하기 위해.
• 기존 순방향 기반 방법보다 품질은 뛰어나면서도 속도를 유지하는 피드포워드 네트워크를 개발하기 위해.
• 최적화 기반 및 순방향 기반 방법의 장점을 하나의 단순하고 효과적인 기준으로 통합하기 위해.
• 사전 학습된 StyleGAN을 활용해 실용적이고 실시간 얼굴 이미지 편집을 가능하게 하기 위해.

제안 방법

• 다양한 특징 척도에서 작동하는 다수의 효율적인 헤드를 갖춘 얕은 백본 네트워크로 다중 수준의 표현을 캡처하기 위해.
• 생성기의 여러 레이어에 걸쳐 적용되는 다중 레이어 신원 손실로 신원 세부 정보를 유지하기 위해.
• 눈, 코, 입과 같은 얼굴 구성 요소의 의미 일관성을 강제하기 위해 사용되는 다중 레이어 얼굴 파싱 손실.
• 반복적인 정련 단계를 통해 점진적으로 역행렬화 품질을 향상시키는 다단계 정련 전략.
• 신원, 파싱, 지각적 구성 요소를 조합한 복합 손실을 사용해 역행렬화 네트워크를 엔드 투 엔드로 훈련하기 위해.
• 반복 최적화 없이도 실시간 추론이 가능한 단순한 피드포워드 아키텍처로 설계되어 있어 실시간 적용에 적합하다.

실험 결과

연구 질문

• RQ1 피드포워드 네트워크가 최적화 기반 방법과 유사한 역행렬화 품질을 달성하면서도 높은 추론 속도를 유지할 수 있는가?
• RQ2 단일 레이어 감독에 비해 다중 레이어 신원 및 얼굴 파싱 손실이 역행렬화 정밀도 향상에 미치는 영향은 무엇인가?
• RQ3 다단계 정련이 StyleGAN 역행렬화의 품질과 안정성에 미치는 영향은 무엇인가?
• RQ4 다양한 척도의 헤드를 갖춘 얕고 가벼운 네트워크가 역행렬화 작업에서 더 깊고 복잡한 기준보다 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 방법이 실생활 응용 분야에서 다양한 실제 얼굴 이미지에 대해 일반화되는 정도는 어떠한가?

주요 결과

• 제안된 방법은 정량적 지표와 정성적 비교를 통해 최신 최적화 기반 방법과 유사한 역행렬화 품질을 달성함을 입증했다.
• 이 방법은 높은 추론 속도를 유지하여 최적화 기반 기준에 비해 느린 것과는 달리 실시간 응용이 가능하다.
• 다중 레이어 신원 및 얼굴 파싱 손실은 생성된 이미지에서 신원 유지 및 의미 일관성 향상에 크게 기여한다.
• 다단계 정련은 특히 얼굴 질감과 윤곽과 같은 세부 정보에서 역행렬화 결과의 품질 향상에 기여한다.
• 이 방법은 다양한 실제 얼굴 이미지에 대해 강력한 일반화 능력을 보이며 효과적인 후속 편집 작업을 가능하게 한다.
• 프로젝트 페이지는 실생활 응용 분야에서 이 방법의 효과를 보여주는 실제 편집 예시를 제공한다.