[논문 리뷰] PhotoApp: Photorealistic Appearance Editing of Head Portraits

B R Mallikarjun, Ayush Tewari외 9명|arXiv (Cornell University)|2021. 03. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 16

한 줄 요약

PhotoApp는 라이트 스테이지에서의 제한된 감독 데이터를 활용하여 StyleGAN의 잠재공간에서 변환을 학습하는 새로운 방법을 제안한다. 이는 자연스러운 조명과 자세 편집을 동시에 고해상도로 수행할 수 있게 하여, 기존 방법에 비해 정량적 지표와 시각적 품질에서 모두 최고 성능을 보이며 인터랙티브 속도로 작동한다.

ABSTRACT

Photorealistic editing of portraits is a challenging task as humans are very sensitive to inconsistencies in faces. We present an approach for high-quality intuitive editing of the camera viewpoint and scene illumination in a portrait image. This requires our method to capture and control the full reflectance field of the person in the image. Most editing approaches rely on supervised learning using training data captured with setups such as light and camera stages. Such datasets are expensive to acquire, not readily available and do not capture all the rich variations of in-the-wild portrait images. In addition, most supervised approaches only focus on relighting, and do not allow camera viewpoint editing. Thus, they only capture and control a subset of the reflectance field. Recently, portrait editing has been demonstrated by operating in the generative model space of StyleGAN. While such approaches do not require direct supervision, there is a significant loss of quality when compared to the supervised approaches. In this paper, we present a method which learns from limited supervised training data. The training images only include people in a fixed neutral expression with eyes closed, without much hair or background variations. Each person is captured under 150 one-light-at-a-time conditions and under 8 camera poses. Instead of training directly in the image space, we design a supervised problem which learns transformations in the latent space of StyleGAN. This combines the best of supervised learning and generative adversarial modeling. We show that the StyleGAN prior allows for generalisation to different expressions, hairstyles and backgrounds. This produces high-quality photorealistic results for in-the-wild images and significantly outperforms existing methods. Our approach can edit the illumination and pose simultaneously, and runs at interactive rates.

연구 동기 및 목표

• 장면 조명과 카메라 시점의 동시에 수정을 통해 고품질의 사진처럼 현실적인 헤드 포트레이트 편집을 가능하게 한다.
• 기존 감독 학습 방법이 광범위한 데이터를 요구하고 한 번에 하나의 요소(예: 조명 또는 자세)만 편집할 수 있는 한계를 극복한다.
• 훈련 데이터에 포함되지 않은 다양한 표정, 헤어스타일, 배경을 가진 자연계 이미지로 일반화한다.
• StyleGAN의 잠재공간 최적화를 통해 감독 학습과 생성 모델링의 장점을 융합한다.
• 고화질과 일관성을 유지하면서도 인터랙티브 속도로 추론을 수행한다.

제안 방법

• 픽셀 공간에서 학습하는 대신, StyleGAN의 잠재공간에서 잠재 코드 변환을 예측하는 신경망을 훈련한다.
• 중립 표정과 감은 눈을 가진 각 개인에 대해 150개의 한 번에 한 빛 조명 조건과 8개의 카메라 자세를 포함한 소규모 제어된 라이트 스테이지 데이터셋을 사용한다.
• 네트워크는 원본 이미지의 잠재 코드를, 목표 조명(환경 맵를 통해)과 시점에 맞는 새로운 코드로 매핑한다.
• 조명 변경 여부를 구분하는 이진 조건을 도입하여, 입력 조명을 유지하면서도 고립된 자세 편집을 가능하게 한다.
• StyleGAN의 강력한 사전 지식을 활용하여, 훈련 데이터에 포함되지 않은 신원, 표정, 배경으로도 일반화한다.
• 실시간으로 작동하여 헤드 포트레이트 이미지의 인터랙티브 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소규모 감독 라이트 스테이지 데이터셋을 사용하여 다양한 자연계 헤드 포트레이트로 일반화할 수 있는 모델을 훈련시킬 수 있는가?
• RQ2 StyleGAN의 잠재공간 편집이 직접 픽셀 공간 학습보다 더 높은 사진처럼 현실적인 결과를 낼 수 있는가?
• RQ3 고정도와 일관성을 유지하면서 동시에 조명과 자세 편집을 수행할 수 있는가?
• RQ4 큰 조명 및 자세 변화 조건에서도 얼굴 정체성과 머리카락, 눈과 같은 세부 사항을 유지할 수 있는가?
• RQ5 튜닝 없이도 예상치 못한 표정, 헤어스타일, 배경으로 일반화할 수 있는가?

주요 결과

• PhotoApp는 전체 테스트 세트(150명의 개인)에서 Si-MSE 0.0020과 SSIM 0.9199를 기록하여 기존 방법보다 두 지표에서 모두 슈퍼리얼리즘 성능을 확보했다.
• 훈련에 단 3명의 개인만 사용했음에도 불구하고 Si-MSE 0.0020과 SSIM 0.9191을 달성하여 강력한 소수 샘플 일반화 능력을 입증했다.
• 여러 테스트 조건에서 Tewari 등(2020b)과 Abdal 등(2020)에 비해 Si-MSE와 SSIM 모두에서 뚜렷한 성능 향상을 보였다.
• 정성적 결과에서는 새로운 조명과 자세 조건에서 정확한 자기 그림자, 표면 내 산란, 반사광을 구현하여 높은 사진처럼 현실적인 품질을 보였다.
• 훈련 중에 볼 수 없었던 다양한 표정, 헤어스타일, 배경을 가진 자연계 이미지로도 성공적으로 일반화되었다.
• 이 방법은 인터랙티브 편집 속도를 제공하여 가상 제작 및 VR 분야의 실시간 응용에 적합하다.