[논문 리뷰] You said that

Joon Son Chung, Amir Jamaludin외 1명|arXiv (Cornell University)|2017. 05. 08.

Face recognition and analysis참고 문헌 28인용 수 55

한 줄 요약

이 논문은 레이블이 없는 영상 데이터로 훈련된 CNN 기반의 인코더-디코더 아키텍처에서 얼굴-음성 통합 임베딩을 사용하여 단일 이미지와 음성 클립에서 고해상도 대화형 얼굴 영상 영상을 실시간으로 엔드 투 엔드로 생성하는 딥러닝 방법을 제안한다. 모델은 훈련 중에 보이지 않은 얼굴과 음성으로도 일반화되며, 재훈련 없이도 제로샷 추론이 가능하고, 다른 화자로의 재더빙도 성공적으로 수행할 수 있다.

ABSTRACT

We present a method for generating a video of a talking face. The method takes as inputs: (i) still images of the target face, and (ii) an audio speech segment; and outputs a video of the target face lip synched with the audio. The method runs in real time and is applicable to faces and audio not seen at training time. To achieve this we propose an encoder-decoder CNN model that uses a joint embedding of the face and audio to generate synthesised talking face video frames. The model is trained on tens of hours of unlabelled videos. We also show results of re-dubbing videos using speech from a different person.

연구 동기 및 목표

• 단일 이미지와 음성 입력으로부터 현실적인 대화형 얼굴 영상 영상을 생성하는 방법을 개발하는 것.
• 새로운 얼굴이나 음성에 대해 재훈련 없이도 실시간 추론을 가능하게 하는 것.
• 훈련 중에 나타나지 않은 얼굴과 음성에 대해서도 제로샷 일반화를 달성하는 것.
• 기존 영상에 다른 화자로부터의 음성으로 재더빙할 수 있는 가능성을 입증하는 것.

제안 방법

• 입력 얼굴 이미지와 음성 세그먼트에서 영상 프레임을 생성하기 위해 컨volutional 신경망(CNN) 인코더-디코더 아키텍처를 사용한다.
• 모델은 얼굴 외형과 음성 특징을 동시에 인코딩하는 통합 임베딩 공간을 활용하여 입술 움직임을 음성과 동기화한다.
• 훈련은 수십 시간에 이르는 레이블이 없는 영상 데이터를 사용하여, 명시적인 얼굴 랜드마크나 음성-텍스트 정렬 없이도 자기지도 학습이 가능하도록 한다.
• 아키텍처는 경량화되어 있어 소비자 수준의 하드웨어에서도 실시간 추론을 지원하도록 설계되어 있다.
• 생성된 프레임 간의 정체성과 얼굴 세부 사항을 유지하기 위해 콘텐츠 인식 손실을 사용한다.
• 음성 특징은 전용 프론트엔드를 통해 추출되며, 통합 임베딩이 디코더를 통해 정체성 일관성과 입술 동기화가 이루어진 프레임을 생성하도록 유도한다.

실험 결과

연구 질문

• RQ1 단일 이미지 기반, 음성 주도의 대화형 얼굴 영상 생성 모델이 새로운 정체성에 대해 재훈련 없이도 실시간 추론을 수행할 수 있는가?
• RQ2 훈련 중에 보이지 않은 얼굴과 음성 입력에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ3 모델은 현실적인 입술 움직임을 생성하면서도 정체성과 얼굴 세부 사항을 얼마나 잘 유지할 수 있는가?
• RQ4 모델은 기존 영상에 다른 화자로부터의 음성으로 성공적으로 재더빙할 수 있는가?

주요 결과

• 모델은 훈련 중에 보이지 않는 얼굴과 음성에 대해서도 실시간으로 고해상도 대화형 얼굴 영상 영상을 생성한다.
• 모델은 새로운 정체성에 대해 미세조정 없이도 강력한 시각적 품질과 정확한 입술 동기화를 달성한다.
• 모델은 훈련 중에 나타나지 않은 화자와 얼굴 정체성으로도 효과적으로 일반화되어 제로샷 능력을 입증한다.
• 재더빙 실험 결과, 기존 영상의 음성을 새로운 음성으로 성공적으로 대체할 수 있으며, 얼굴 정체성과 입술 동기화를 유지함을 확인했다.