[논문 리뷰] Video synthesis of human upper body with realistic face

Zhaoxiang Liu, Huan Hu외 4명|arXiv (Cornell University)|2019. 08. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 7

한 줄 요약

이 논문은 원본 영상의 운동, 표정, 자세를 유지하면서 대상 인물의 상반신 영상을 사실적으로 합성하는 GAN 기반 방법을 제안한다. 얼굴 운동 단위(FAUP)와 상반신 관절점(UBKP)을 중간 표현으로 활용하여 신원에 관계없이 FAUP를 기반으로 원본 표정을 대상 신원에 매핑한 후, 시공간 스무딩과 인지 손실을 적용한 수정된 pix2pixHD 프레임워크를 사용해 시간적으로 일관되고 고해상도의 영상을 생성한다. 이로써 현실적인 얼굴 재연 및 운동 이동을 달성한다.

ABSTRACT

This paper presents a generative adversarial learning-based human upper body video synthesis approach to generate an upper body video of target person that is consistent with the body motion, face expression, and pose of the person in source video. We use upper body keypoints, facial action units and poses as intermediate representations between source video and target video. Instead of directly transferring the source video to the target video, we firstly map the source person's facial action units and poses into the target person's facial landmarks, then combine the normalized upper body keypoints and generated facial landmarks with spatio-temporal smoothing to generate the corresponding target video's image. Experimental results demonstrated the effectiveness of our method.

연구 동기 및 목표

• 원본 영상의 운동, 표정, 자세를 유지하면서 대상 인물의 사진처럼 사실적인 상반신 영상을 생성하는 데 도전한다.
• 직접적인 이미지 간 번역으로 인해 운동 세부 정보를 잃거나 현실적인 얼굴 질감을 생성하지 못하는 기존 방법의 한계를 극복한다.
• 3D 운동 캡처에 의존하지 않고도 신체 운동 이동과 고해상도 얼굴 재연을 통합하는 유일한 파이프라인을 개발한다.
• 신원에 관계없이 변하지 않는 중간 표현으로서의 얼굴 운동 단위(FAUP)를 사용하여 신체 운동과 표정을 원활하게 융합한다.
• 시공간 스무딩과 인지 손실 함수를 통해 생성된 영상 시퀀스의 시간적 일관성과 시각적 품질을 확보한다.

제안 방법

• 원본 영상에서 상반신 관절점(UBKP)을 추정하고 얼굴 운동 단위(FAUP)를 추출하기 위해 사전 훈련된 자세 검출기를 사용하여 중간 표현으로 활용한다.
• 학습된 변환을 통해 원본 FAUP를 대상 얼굴 랜드마크로 매핑하며, FAUP의 신원 불변성 특성을 활용해 복잡한 정규화를 피한다.
• 정규화된 UBKP와 생성된 얼굴 랜드마크(UBKP-FL)를 연결하여 영상 합성용 조건부 입력을 구성한다.
• 생성자 G의 성능을 향상시키기 위해 적대적 손실 $ L_{GAN} $, $ L_1 $ 재구성 손실, 그리고 인지 손실 $ L_{VGG} $을 포함한 수정된 pix2pixHD 네트워크를 훈련한다.
• 이전에 생성된 프레임과 과거 원본 프레임을 모두 고려하여 시간적 스무딩 손실 $ L_{tS} $ 를 도입함으로써 시간적 일관성을 확보한다.
• 특징 매칭 손실 $ L_{FM} $ 을 적용하고, 여러 손실을 통합한 목적 함수를 구성한다: $ ext{min}_G ext{max}_D ig( ext{sum of } L_{tS}, L_{FM}, L_{VGG} ig) $.

실험 결과

연구 질문

• RQ1 얼굴 운동 단위(FAUP)는 원본 인물에서 대상 인물로 표정을 이동시키는 데 효과적인 신원 불변 중간 표현으로서 기능할 수 있는가?
• RQ2 신체 운동과 표정을 동시에 이동시키면서도 영상 합성에서 사실성과 시간적 일관성을 유지할 수 있는가?
• RQ3 UBKP와 FAUP를 사용하는 GAN 기반 프레임워크는 별도의 얼굴 및 신체 재연 모델을 단순히 결합한 것보다 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 시간적 스무딩 손실은 생성된 영상 시퀀스의 시각적 품질과 일관성에 얼마나 기여하는가?
• RQ5 인지 손실, 적대적 손실, $ L_1 $ 손실의 조합은 합성된 상반신 영상의 현실성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 원본 영상의 운동, 표정, 자세와 일치하는 대상 인물의 사진처럼 사실적인 상반신 영상을 성공적으로 생성한다.
• FAUP를 중간 표현으로 사용함으로써 복잡한 정규화 없이도 정확한 표정 이동을 달성할 수 있다.
• 과거 프레임을 고려한 시간적 스무딩은 영상의 시각적 품질을 크게 향상시키고 생성된 영상의 깜빡임이나 불일치를 줄인다.
• $ L_{VGG} $, $ L_{FM} $, $ L_{tS} $ 손실의 조합은 기준 GAN 모델에 비해 더 현실적이고 인지적으로 정확한 결과를 도출한다.
• 별도의 얼굴 및 신체 재연 모델을 단순히 융합한 방법보다 더 원활한 운동과 표정 세부 정보 통합을 달성하여 프레임워크가 뛰어난 성능을 보인다.
• 강력한 성능에도 불구하고 이 방법은 여전히 계산 비용이 높아 향후 연구에서는 경량 아키텍처의 필요성이 제기된다.