[논문 리뷰] PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering

Yurui Ren, Ge Li외 3명|arXiv (Cornell University)|2021. 09. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 10

한 줄 요약

PIRenderer는 얼굴 표정, 머리 자세, 이동을 위한 3D 모형화된 얼굴 모델(3DMM) 파라미터를 제어하여 직관적이고 사진처럼 사실적인 포트레이트 이미지 생성을 가능하게 하는 신경 렌더링 모델이다. 이는 분리된 운동 서술자와 세 부분으로 구성된 네트워크(매핑, 워핑, 편집)를 사용하여 고해상도 이미지 및 영상을 생성하며, 직접 편집 및 오디오 기반 얼굴 재현 작업에서 최신 기술들을 능가하여 현실감과 정체성 유지 능력이 향상된다.

ABSTRACT

Generating portrait images by controlling the motions of existing faces is an important task of great consequence to social media industries. For easy use and intuitive control, semantically meaningful and fully disentangled parameters should be used as modifications. However, many existing techniques do not provide such fine-grained controls or use indirect editing methods i.e. mimic motions of other individuals. In this paper, a Portrait Image Neural Renderer (PIRenderer) is proposed to control the face motions with the parameters of three-dimensional morphable face models (3DMMs). The proposed model can generate photo-realistic portrait images with accurate movements according to intuitive modifications. Experiments on both direct and indirect editing tasks demonstrate the superiority of this model. Meanwhile, we further extend this model to tackle the audio-driven facial reenactment task by extracting sequential motions from audio inputs. We show that our model can generate coherent videos with convincing movements from only a single reference image and a driving audio stream. Our source code is available at https://github.com/RenYurui/PIRender.

연구 동기 및 목표

• 얼굴 표정, 머리 자세, 이동을 위한 분리된 3DMM 파라미터를 사용하여 포트레이트 이미지 생성에 직관적이고 의미론적 수준의 제어를 가능하게 하기 위해.
• 기존 방법이 키포인트나 에지와 같은 간접적이고 공간 제약이 있는 운동 서술자에 의존하는 한계를 해결하기 위해.
• 다양한 운동 조건에서도 강력한 정체성 유지 능력을 갖춘 고해상도 포트레이트 편집을 달성하기 위해.
• 오디오 입력에서 일관되고 표현력 있는 운동을 추출하여 오디오 기반 얼굴 재현으로 모델을 확장하기 위해.
• 가상 아바타 및 소셜 미디어 애플리케이션에 효율적인 신경 렌더러로서의 모델의 유연성을 입증하기 위해.

제안 방법

• 모델은 3DMM 파라미터를 잠재 벡터로 변환하여 얼굴 운동을 이끄는 매핑 네트워크를 사용한다.
• 워핑 네트워크는 잠재 벡터에서 변형 필드를 추정하고 이를 원본 이미지에 적용하여 초보적 결과를 생성한다.
• 편집 네트워크는 워핑된 이미지를 보완하여 고해상도 세부 사항을 갖춘 사진처럼 사실적인 출력을 생성한다.
• 모델은 완전히 분리된 3DMM 파라미터를 운동 서술자로 활용하여 주체에 관계없이 의미론적으로 유의미한 제어를 가능하게 한다.
• 오디오 기반 재현을 위해 모델은 학습된 함수 $f_\theta$를 사용하여 오디오에서 순차적 운동 계수를 추출하여 다양한 표현력 있는 운동 생성을 가능하게 한다.
• 모델 아키텍처는 현실감과 운동 정확도를 확보하기 위해 적대적 손실과 인지적 손실을 함께 사용하여 엔드 투 엔드로 훈련된다.

Figure 1: Example results produced by our PIRenderer. This model can generate photo-realistic portrait images according to the user-specified motions (top), motions of another individual (middle), and motions generated from audios (bottom).

실험 결과

연구 질문

• RQ1 신경 렌더러는 완전히 분리된 3DMM 파라미터를 제어 신호로 사용하여 사진처럼 사실적인 포트레이트 이미지를 생성할 수 있는가?
• RQ2 다른 사람의 영상에서 운동을 모방할 때 모델은 원본 정체성을 얼마나 잘 유지하는가?
• RQ3 오디오 입력만으로 일관되고 표현력 있는 얼굴 운동 시퀀스를 생성할 수 있는가?
• RQ4 공간 제약이 있는 서술자(예: 키포인트)보다 의미론적이고 분리된 운동 서술자가 성능 향상에 기여하는가?
• RQ5 모델은 다양한 정체성으로 일반화되어 직접 및 간접 편집 시나리오 모두에서 현실적인 결과를 생성할 수 있는가?

주요 결과

• PIRenderer는 MTurk 평가에서 가장 높은 속임수 비율을 기록했다—동일 정체성 재구성 시 86.5%, 교차 정체성 모방 시 78.5%로, 뛰어난 현실감을 보였다.
• 정량적 평가에서 PIRenderer는 FOMM, GFLA, X2Face와 같은 최신 기술들을 초월하여 재구성 및 운동 모방 작업 모두에서 뛰어난 성능을 보였다.
• 모델은 오디오 입력에서 정확한 입술 운동, 미세 표정(예: 깜빡임, 입을 쫑긋거림) 및 자연스러운 머리 자세를 생성했으며, DAVS는 비입술 운동을 생성하지 못하는 데 반해 이는 성공적인 결과였다.
• 정성적 결과에서는 큰 자세나 표정 변화 조건에서도 워핑 아티팩트, 과도한 부드러움, 정체성 손실이 없음을 확인했다.
• 모델은 단일 오디오 스트림에서 임의의 타겟 정체성으로 운동을 성공적으로 전달하여 다양한 표현력 있는 얼굴 운동 시퀀스를 생성했다.
• 완전히 분리된 3DMM 파라미터의 사용은 주체에 관계없이 운동 추출을 가능하게 하여, 재학습 없이도 다양한 원본 얼굴에 대해 일반화된 성능을 발휘할 수 있었다.

Figure 2: Overview of the PIRenderer. Our model first maps the input motion descriptor $\mathbf{p}$ to a latent vector $\mathbf{z}$ . Then a coarse image is generated by the warping network. Finally, the editing network is responsible for generating the final image by editing the coarse result.