[논문 리뷰] Identity Preserving Face Completion for Large Ocular Region Occlusion

Yajie Zhao, Weikai Chen외 6명|arXiv (Cornell University)|2018. 07. 23.

Face recognition and analysis참고 문헌 24인용 수 15

한 줄 요약

이 논문은 VR/AR 헤드셋으로 인한 큰 가림 영역이 있는 상황에서 신원을 유지하는 얼굴 보정을 위한 딥러닝 프레임워크를 제안한다. 참조 이미지를 사용해 신원 일관성을 강제하고, 자세 맵과 자세 판별기를 활용해 다양한 머리 자세에서도 구조적 일관성을 유지한다. 실제 및 합성 데이터에서 기존 방법보다 훨씬 뛰어난 합성 품질과 강건성을 보인다.

ABSTRACT

We present a novel deep learning approach to synthesize complete face images in the presence of large ocular region occlusions. This is motivated by recent surge of VR/AR displays that hinder face-to-face communications. Different from the state-of-the-art face inpainting methods that have no control over the synthesized content and can only handle frontal face pose, our approach can faithfully recover the missing content under various head poses while preserving the identity. At the core of our method is a novel generative network with dedicated constraints to regularize the synthesis process. To preserve the identity, our network takes an arbitrary occlusion-free image of the target identity to infer the missing content, and its high-level CNN features as an identity prior to regularize the searching space of generator. Since the input reference image may have a different pose, a pose map and a novel pose discriminator are further adopted to supervise the learning of implicit pose transformations. Our method is capable of generating coherent facial inpainting with consistent identity over videos with large variations of head motions. Experiments on both synthesized and real data demonstrate that our method greatly outperforms the state-of-the-art methods in terms of both synthesis quality and robustness.

연구 동기 및 목표

• VR/AR 헤드셋으로 인해 큰 눈 주변 영역이 가려질 경우, 얼굴 간의 직접적인 소통을 방해하는 현실적인 얼굴 보정 문제를 해결한다.
• 비면대칭 또는 다양한 머리 자세에서 실패하는 기존 얼굴 보정 방법의 한계를 극복하며, 신원 제어 기능을 갖춘다.
• 큰 머리 운동이 발생하는 비디오 시퀀스에서 일관된 신원 유지 및 자세 변화 처리를 가능하게 한다.
• 참조 이미지와 자세 감시를 활용해 현실적이고 일관된 얼굴 보정을 이끄는 생성 프레임워크를 개발한다.

제안 방법

• 목표 신원의 가려짐이 없는 임의의 이미지에서 신원 사전 지식을 추출하는 참조 네트워크를 도입하여 생성자 학습 공간을 정규화한다.
• 자세 맵을 입력으로 사용해 생성자에 조건을 주고, 자세 일관성 있는 얼굴 구조를 합성하도록 이끈다.
• 예측된 자세 맵과 진짜 자세 맵을 비교하여 비현실적인 자세 변형을 방지하기 위해 자세 판별기를 활용한다.
• 생성된 픽셀과 주변 배경 간의 맥락 일관성을 강제하기 위해 글로벌 판별기를 적용한다.
• 퍼셉추얼, 적대적, 신원 유지 손실을 조합한 다중 손실 목표함수를 사용해 생성자를 훈련시킨다.
• 실제 환경 구현을 위해 합성 데이터 기반으로 훈련된 자세 예측 네트워크를 활용해 가려진 이미지에서 머리 자세를 추정한다.

실험 결과

연구 질문

• RQ1 큰 가림 영역이 존재하더라도 고해상도 얼굴 보정을 생성할 수 있는 딥러닝 생성 모델은 신원을 유지할 수 있는가?
• RQ2 입력 이미지와 참조 이미지의 자세, 조도, 배경이 다를 경우, 어떻게 신원을 제어할 수 있는가?
• RQ3 비디오 시퀀스에서 다양한 머리 자세에 걸쳐 일관된 얼굴 구조를 생성할 수 있는가?
• RQ4 자세 판별기는 재구성된 얼굴 자세의 현실성과 정확성 향상에 얼마나 기여하는가?
• RQ5 큰 머리 운동 조건에서 최신 기술 대비 제안된 방법의 시각적 품질과 강건성은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 실제 및 합성 데이터에서 큰 가림 영역이 존재하는 조건에서 기존 최신 기술 대비 합성 품질과 강건성 면에서 뚜렷한 우수성을 보였다.
• 큰 머리 자세 변화가 발생하더라도 배경과 자연스럽게 융합된 고해상도 얼굴 세부 정보를 생성하였다.
• 단일 참조 이미지를 사용한 결과가 비디오 시퀀스의 모든 프레임에서 일관되게 유지되어 신원 유지가 효과적으로 이루어졌다.
• 자세 판별기는 고수준의 자세 오류를 효과적으로 줄여 생성된 이미지에서 더 현실적인 얼굴 방향을 확보했다.
• HTC Vive VR 헤드셋을 사용한 실제 비디오 시퀀스에서, 이전 방법 대비 안정적이고 잡음이 적은 결과를 내며 최소한의 진동을 보였다.
• 그림자로 인한 마스크 경계 근처의 일부 잡음은 존재하지만, Li 등과 Iizuka 등에 비해 시각적 품질과 일관성 면에서 상당한 향상을 보였다.