[논문 리뷰] Semantic Facial Expression Editing using Autoencoded Flow

Raymond A. Yeh, Ziwei Liu외 2명|arXiv (Cornell University)|2016. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 69

한 줄 요약

이 논문은 분리된 잠재공간에서 픽셀 단위의 유량 필드를 학습함으로써 고품질의 의미론적 얼굴 표정 편집을 가능하게 하는 플로우 변동 자동부호화기(FVAE)를 제안한다. 변동 자동부호화기와 미분 가능한 광학 유량을 결합함으로써, VAE나 플로우 기반 기준선 대비 더 선명하고 현실적인 결과를 도출하며, 특히 표정 조작 및 보간 중 얼굴 세부 정보를 유지하는 데서 뛰어난 성능을 발휘한다.

ABSTRACT

High-level manipulation of facial expressions in images --- such as changing a smile to a neutral expression --- is challenging because facial expression changes are highly non-linear, and vary depending on the appearance of the face. We present a fully automatic approach to editing faces that combines the advantages of flow-based face manipulation with the more recent generative capabilities of Variational Autoencoders (VAEs). During training, our model learns to encode the flow from one expression to another over a low-dimensional latent space. At test time, expression editing can be done simply using latent vector arithmetic. We evaluate our methods on two applications: 1) single-image facial expression editing, and 2) facial expression interpolation between two images. We demonstrate that our method generates images of higher perceptual quality than previous VAE and flow-based methods.

연구 동기 및 목표

• 이미지 내 고수준의 의미론적 얼굴 표정 편집 문제를 해결, 예를 들어 미소에서 중립 표정으로의 전환과 같은 작업을 수행.
• VAE의 문제점(흐릿한 생성 결과)과 플로우 기반 방법의 한계(의미론적 연산을 위한 잠재공간 부족)를 극복.
• 분리된, 플로우 기반 잠재공간에서 잠재벡터 산술만을 사용해 현실적인 얼굴 표정 편집 및 보간을 가능하게 한다.
• 픽셀 도메인에서의 환영 생성 대신 플로우 기반 워핑을 통해 원본 이미지의 특징을 재사용함으로써 고해상도 세부 정보와 현실적인 질감을 유지한다.

제안 방법

• 소스 얼굴 이미지에서 목표 표정으로의 유량을 저차원 잠재공간에서 인코딩하는 플로우 변동 자동부호화기(FVAE)를 학습.
• 디코더는 픽셀 단위의 유량 필드와 신뢰도 마스크를 생성하여, 미분 가능한 이차보간 샘플링을 사용해 소스 이미지를 목표 표정으로 워핑.
• 복합 손실을 최적화함으로써 FVAE를 학습: 재구성 손실(L2 픽셀 차이), 사전 분포 손실(잠재공간의 매끄러움), 유량 일致성 손실.
• 잠재벡터 산술을 통한 의미론적 편집 구현: 잠재코드를 보간하거나 수정함으로써 재학습 없이도 새로운 표정을 생성.
• 유량 기반 업샘플링을 적용: 고해상도 소스 이미지에 적용하기 전에 유량 필드를 업스케일링함으로써 세부 정보를 유지.
• 일관된 조명과 배경을 갖춘 제어된 데이터셋을 사용해 학습 중 비표정 인자에 의한 간섭을 최소화.

실험 결과

연구 질문

• RQ1 표정 간 유량 필드에서 학습된 잠재공간이 직접적인 VAE 기반 이미지 생성보다 더 현실적이고 제어 가능한 의미론적 편집을 가능하게 하는가?
• RQ2 분리된 잠재공간에서의 플로우 기반 조작이 전통적 모핑 또는 광학 유량 대비 정성적 품질과 세부 정보 유지 능력에서 어떻게 비교되는가?
• RQ3 학습된 변환은 통계적 특성이 다른 훈련 데이터셋 외부 샘플에 대해 얼마나 일반화 가능한가?
• RQ4 유량 기반 업샘플링은 픽셀 도메인 업샘플링보다 더 나은 세부 얼굴 질감(예: 윤곽선, 얼굴 털) 유지 능력을 갖는가?

주요 결과

• 제안된 FVAE 방법은 VAE 및 광학 유량 기준선 대비 정성적 품질에서 뛰어난 성능을 보이며, 사용자 연구에서 생성된 이미지의 59.4%가 실제 이미지로 평가됨—VAE(35.6%) 및 광학 유량(41.6%)보다 유의미하게 높음.
• 유량 기반 업샘플링은 윤곽선과 얼굴 털 질감 등의 세부 얼굴 정보를 유지하여 픽셀 도메인 업샘플링 대비 더 선명한 결과를 도출함—픽셀 도메인 업샘플링은 흐림 현상 유발.
• 모델은 일관되고 자연스러운 전환을 보이는 현실적인 표정 보간을 달성하며, 크로스페이드 및 모핑 기법보다 뛰어난 성능을 발휘.
• 모델은 훈련 데이터와 다른 통계적 특성을 가진 신면모 및 신규 표정에 대해서도 잘 일반화되며, 현실성 유지에 성공함.
• 원본 이미지의 특징을 플로우 워핑을 통해 재사용함으로써 고해상도 출력을 유지함으로써, VAE에서 흔한 환영 문제를 효과적으로 방지.
• 학습 데이터의 부족으로 정면 얼굴 및 소규모 회전 범위에 한해 적용 가능하지만, 더 다양한 학습 데이터로 확장 가능성이 있음.