[논문 리뷰] Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses

Rongliang Wu, Gongjie Zhang외 2명|arXiv (Cornell University)|2020. 03. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 10

한 줄 요약

이 논문은 눈, 코, 입과 같은 국소적 영역에 집중함으로써 신원 정보를 유지하고 잡음 요소를 줄이는 프로그레시브 얼굴 표정 편집 프레임워크인 Cascade EF-GAN을 제안한다. 대규모 표정 갭 변환을 다수의 작은 단계로 분해하는 캐스케이드 구조의 EF-GAN 모듈을 통해, 이전의 GAN 기반 방법보다 더 현실적이고 잡음이 없는 편집을 달성한다.

ABSTRACT

Recent advances in Generative Adversarial Nets (GANs) have shown remarkable improvements for facial expression editing. However, current methods are still prone to generate artifacts and blurs around expression-intensive regions, and often introduce undesired overlapping artifacts while handling large-gap expression transformations such as transformation from furious to laughing. To address these limitations, we propose Cascade Expression Focal GAN (Cascade EF-GAN), a novel network that performs progressive facial expression editing with local expression focuses. The introduction of the local focus enables the Cascade EF-GAN to better preserve identity-related features and details around eyes, noses and mouths, which further helps reduce artifacts and blurs within the generated facial images. In addition, an innovative cascade transformation strategy is designed by dividing a large facial expression transformation into multiple small ones in cascade, which helps suppress overlapping artifacts and produce more realistic editing while dealing with large-gap expression transformations. Extensive experiments over two publicly available facial expression datasets show that our proposed Cascade EF-GAN achieves superior performance for facial expression editing.

연구 동기 및 목표

• 표정이 풍부한 영역(예: 눈, 코, 입) 주변에서 발생하는 잡음과 블러 문제를 해결한다.
• 단일 단계 GAN 기반 방법에서 흔히 발생하는 대규모 갭 표정 변환(예: 분노에서 웃는 표정으로)에서의 겹침 잡음 문제를 극복한다.
• 국소화된 주의 메커니즘을 통해 신원 관련 특징을 명시적으로 모델링하여 신원 보존을 향상시킨다.
• 복잡한 표정 변화를 다수의 작은, 다룰 수 있는 변환 단계로 분해하는 프로그레시브 편집 전략을 개발한다.
• 국소적 초점과 캐스케이드 설계의 조합을 통해 공개 데이터셋에서 얼굴 표정 편집 분야에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 각 EF-GAN 모듈 내에 눈, 코, 입에 대한 국소적 초점을 도입하여 신원 관련 특징을 캡처하고 고해상도 편집을 안내한다.
• 각 EF-GAN 내에 표현 전환기(Expressioin Transformer)와 정제기(Refiner)를 설계하여 전역 및 국소 영역에서의 초기 표정 편집을 생성하고 정제한다.
• 다수의 EF-GAN 모듈을 캐스케이드로 연결하여 프로그레시브 표정 편집을 수행하고, 대규모 갭 변환을 순차적인 작은 단계로 분해한다.
• 정제기와 국소적 초점 간의 중간 특징 융합을 구현하여 세부 사항 보존을 향상시키고 블러를 줄인다.
• FID 평가를 위해 사전 훈련된 Inception 네트워크를 사용하고, PSNR를 활용해 합성된 표정과 진짜 표정을 비교한다.
• RaFD 및 CFEED 데이터셋에서 사전 훈련한 후, AffectNet 데이터셋에서의 파인튜닝을 통해 야외 이미지에 모델을 적응시킨다.

실험 결과

연구 질문

• RQ1 눈, 코, 입과 같은 신원에 중요한 얼굴 영역에 국소적 주의를 적용하면 표정 편집에서 잡음과 블러가 감소하는가?
• RQ2 캐스케이드 아키텍처를 통해 대규모 표정 갭 변환을 다수의 작은 단계로 분해하면 겹침 잡음이 감소하는가?
• RQ3 국소적 초점과 프로그레시브 편집의 조합이 신원 보존과 시각적 현실감을 어떻게 향상시키는가?
• RQ4 제안된 방법은 복잡한 배경과 통제되지 않은 조명 조건을 가진 야외 이미지로 일반화 가능한가?
• RQ5 단일 단계 GAN과 비교했을 때 캐스케이드 설계가 도전적인 표정 편집 작업에서 성능을 얼마나 향상시키는가?

주요 결과

• RaFD 데이터셋에서 상태최저 기술 수준의 방법보다 1.01 PSNR와 3.19 FID 향상되었고, CFEED 데이터셋에서는 0.91 PSNR와 1.92 FID 향상되었다.
• 제거 실험을 통해 국소적 초점과 캐스케이드 설계가 모두 필수적임을 확인하였으며, 전체 모델이 가장 선명하고 정렬된 표정을 생성하고 잡음을 최소화했다.
• 시각적 결과에서 기준 모델은 눈과 입 주변의 세부 사항을 상실하는 반면, 국소적 초점을 갖춘 EF-GAN은 블러와 손상 요소를 크게 줄였다.
• 캐스케이드 설계가 복잡성을 다수의 단계로 분산시켜 대규모 갭 변환에서 겹침 잡음을 효과적으로 억제함을 확인했다.
• 액션 유닛을 보간하고 단계별로 모델을 적용함으로써 연속적인 표정 편집이 성공적으로 가능해졌고 자연스러운 전이를 생성했다.
• 모델은 야외 이미지로의 일반화가 잘 되었으며, 신원과 배경의 무결성을 유지하면서도 목표 표정을 정확하게 전달했다.