[논문 리뷰] Fast Face-swap Using Convolutional Neural Networks

Iryna Korshunova, Wenzhe Shi외 2명|arXiv (Cornell University)|2016. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 9

한 줄 요약

이 논문은 단일 기준 이미지와 사용자 입력이 추가로 필요로 하지 않는 실시간, 피드포워드 컨volution 신경망을 제안한다. 이는 자세, 표정, 조명을 유지하면서도 정체성을 전달하는 포토 realism 성을 갖춘 얼굴 스왑을 가능하게 한다. 다중 이미지 스타일 손실과 조명 인식 손실 함수를 도입함으로써, 한 명의 대상 정체성에 대한 참조 이미지 하나만으로도 높은 현실감과 거의 실시간 추론 성능을 달성한다.

ABSTRACT

We consider the problem of face swapping in images, where an input identity is transformed into a target identity while preserving pose, facial expression, and lighting. To perform this mapping, we use convolutional neural networks trained to capture the appearance of the target identity from an unstructured collection of his/her photographs.This approach is enabled by framing the face swapping problem in terms of style transfer, where the goal is to render an image in the style of another one. Building on recent advances in this area, we devise a new loss function that enables the network to produce highly photorealistic results. By combining neural networks with simple pre- and post-processing steps, we aim at making face swap work in real-time with no input from the user.

연구 동기 및 목표

• 자세, 표정, 조명을 유지하면서 정체성을 전달하는 완전 자동화된 실시간 얼굴 스왑을 가능하게 하기.
• 이전 방법들이 수동 정렬, 광범위한 사용자 입력, 또는 대규모 이미지 컬렉션을 필요로 하는 한계를 극복하기.
• 새로운 손실 함수를 통해 훈련된 피드포워드 신경망을 사용하여 포토 realism 결과를 달성하기.
• 얼굴 스왑을 스타일 전이 문제로 재정의하여 신경 스타일 전이 기법을 포토 realism 성 얼굴 이미지로 확장하기.
• 단일 이미지 입력으로도 정체성 전달을 실용적이고 확장 가능하게 만들며, 추론 시 계산 비용을 최소화하기.

제안 방법

• 이 방법은 입력 얼굴의 콘텐츠를 대상 인물의 정체성으로 변환하도록 훈련된 다중 척도 피드포워드 컨volution 신경망을 사용한다.
• 새로운 다중 이미지 스타일 손실이 도입되며, 이는 단일 기준 이미지에 의존하는 것이 아니라 대상 정체성의 외관을 다양한 분포로 모델링한다.
• 추가로 조명 인식 손실 성분이 포함되어 원본 이미지와 생성된 이미지 간의 일관된 조명을 보장한다.
• 얼굴 키포인트 검출과 애핀 변환을 사용하여 얼굴 정렬 및 재정렬을 수행하여 기하학적 일관성을 유지한다.
• 후처리 단계에서는 학습된 세그멘테이션 마스크를 사용하여 스왑된 얼굴을 원본 이미지에 자연스럽게 융합한다.
• 콘텐츠와 스타일에 대해 VGG-19 특징을 사용하며, L2 손실과 인지적 손실의 조합을 통해 현실감을 유지한다.

실험 결과

연구 질문

• RQ1 피드포워드 신경망이 최소한의 사용자 입력으로 실시간으로 포토 realism 성 얼굴 스왑을 달성할 수 있는가?
• RQ2 스타일 전이 기법은 자세, 표정, 조명을 유지하면서도 정체성을 유지하는 데 어떻게 적용될 수 있는가?
• RQ3 어떤 손실 함수 설계가 대상 정체성의 참조 이미지 컬렉션만으로도 고해상도 얼굴 스왑을 가능하게 하는가?
• RQ4 다중 이미지 스타일 손실은 단일 기준 이미지 스타일 전이보다 현실감과 내구성을 향상시키는가?
• RQ5 조명 인식 손실의 포함은 생성된 얼굴 스왑 이미지의 일관성을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 거의 실시간 추론을 달성하여 지연 시간이 최소한인 상호작용형 또는 영상 기반 얼굴 스왑을 가능하게 한다.
• 다중 이미지 스타일 손실은 대상 정체성의 외관을 단일 이미지가 아닌 분포로 모델링함으로써 현실감을 크게 향상시킨다.
• 조명 인식 손실 성분의 포함으로 생성된 이미지에서 자연스럽지 않은 조명 이동 현상이 감소한다.
• 결과적으로 높은 포토 realism 성을 보이며, 어려운 조명 조건에서도 표정, 시선, 자세를 유지한 정체성 전달이 가능하다.
• 복잡한 얼굴 구조와 질감을 처리하는 데서 이전의 스타일 전이 접근 방식을 뛰어넘는 성능을 보인다.
• 한계점으로는 가림된 얼굴(예: 안경)에서의 아티팩트, 극단적인 자세에서의 성능 저하, 일부 경우에서의 과도한 부드러움 처리가 있다.