[논문 리뷰] High-Fidelity and Arbitrary Face Editing

Yue Gao, Fangyun Wei외 5명|arXiv (Cornell University)|2021. 03. 29.

Face recognition and analysis인용 수 4

한 줄 요약

HifaFace는 고주파 이미지 세부 정보를 생성기로 직접 주입하고 고주파 판별기를 사용하여 스테가노그래픽 신호 숨기기를 방지함으로써 고해상도 및 임의의 얼굴 특성 편집을 향상시키는 웨이블릿 기반 얼굴 편집 프레임워크를 제안한다. 이 방법은 정성적 및 정량적 평가에서 기존 최고성능(SOTA) 방법들을 능가하는 뛰어난 해상도와 제어 가능성 성능을 달성한다.

ABSTRACT

Cycle consistency is widely used for face editing. However, we observe that the generator tends to find a tricky way to hide information from the original image to satisfy the constraint of cycle consistency, making it impossible to maintain the rich details (e.g., wrinkles and moles) of non-editing areas. In this work, we propose a simple yet effective method named HifaFace to address the above-mentioned problem from two perspectives. First, we relieve the pressure of the generator to synthesize rich details by directly feeding the high-frequency information of the input image into the end of the generator. Second, we adopt an additional discriminator to encourage the generator to synthesize rich details. Specifically, we apply wavelet transformation to transform the image into multi-frequency domains, among which the high-frequency parts can be used to recover the rich details. We also notice that a fine-grained and wider-range control for the attribute is of great importance for face editing. To achieve this goal, we propose a novel attribute regression loss. Powered by the proposed framework, we achieve high-fidelity and arbitrary face editing, outperforming other state-of-the-art approaches.

연구 동기 및 목표

• 사이클 일관성 기반 얼굴 편집에서 생성기가 스테가노그래픽 신호를 통해 입력 세부 정보를 숨기는 문제를 해결하기 위해.
• 생성기에 고주파 이미지 성분을 직접 공급하여 숨겨진 신호 인코딩에 의존도를 줄임으로써 고해상도 얼굴 편집을 향상시키기 위해.
• 새로운 특성 회귀 손실을 통해 얼굴 특성에 대한 미세 조절 및 광범위한 제어를 가능하게 하기 위해.
• 대규모 비라벨 데이터를 활용한 준지도 학습을 통해 모델의 일반화 능력과 해상도를 향상시키기 위해.
• GAN 기반 얼굴 편집에서 사이클 일관성의 한계를 재평가하고 해결하기 위해.

제안 방법

• 이 방법은 입력 이미지를 다중 주파수 대역으로 분해하기 위해 웨이블릿 변환을 사용하여 미세한 세부 정보를 담고 있는 고주파 성분을 분리한다.
• 표준 스위프 커넥션 대신 새로운 웨이블릿 기반 스위프 커넥션 모듈을 도입하여 고주파 특징을 생성기의 최종 레이어에 직접 주입함으로써 세부 정보의 해상도 유지에 기여한다.
• 생성기가 현실적인 고주파 세부 정보를 생성하도록 유도하고 스테가노그래픽 신호 숨기기를 방지하기 위해 고주파 판별기($D_H$)를 도입한다.
• 특성 변화를 연속적인 범위에서 명시적으로 모델링할 수 있도록 설계된 특성 회귀 손실을 통해 특성의 부드럽고 임의의 보간 및 외삽이 가능해진다.
• 대규모 비라벨 얼굴 이미지를 활용하기 위해 준지도 학습을 적용하여 야생 환경에서의 일반화 능력과 해상도를 향상시킨다.
• 전반적인 프레임워크는 사이클 일관성과 명시적 세부 정보 감시, 특성 제어를 결합하여 강력한 얼굴 편집 파이프라인을 형성한다.

(a) Input $\bm{x}$

실험 결과

연구 질문

• RQ1 생성기가 스테가노그래픽 수단을 통해 입력 세부 정보를 숨기는 것을 방지함으로써 사이클 일관성 GAN의 얼굴 편집 성능을 향상시킬 수 있는가?
• RQ2 고주파 이미지 성분을 어떻게 효과적으로 생성기에 주입하여 주름, 잔주름과 같은 미세한 얼굴 세부 정보를 유지할 수 있는가?
• RQ3 고주파 판별기가 현실적인 세부 정보 합성과 사이클 일관성에 대한 비현실적인 해법을 효과적으로 방지할 수 있는가?
• RQ4 새로운 특성 회귀 손실이 얼굴 특성에 대한 정밀한, 연속적이고 임의의 제어를 얼마나 잘 가능하게 하는가?
• RQ5 대규모 비라벨 데이터를 활용한 준지도 학습이 야생 환경에서 얼굴 편집의 품질과 강건성에 크게 기여하는가?

주요 결과

• HifaFace 전체 모델은 Fréchet Inception Distance (FID) 4.04과 Fréchet Appearance Distance (FAD) 97.5를 기록하여 기준 모델을 크게 능가한다.
• 제거 실험 결과 웨이블릿 기반 스위프 커넥션 또는 고주파 판별기를 제거할 경우 성능이 급격히 저하되며, FID는 5.34로 상승하고 FAD는 96.4로 하락한다.
• 특성 회귀 손실이 없는 모델은 특히 넓은 범위의 제어가 필요한 특성인 안경과 노화와 같은 요소에서 매끄러운 보간 및 외삽을 생성하지 못한다.
• 준지도 학습은 특히 라벨 데이터가 부족한 저자원 특성인 '안경'과 '노화'에 대해 합성 품질을 향상시킨다.
• Figure 10에서 보듯이, HifaFace는 다양한 자세와 표정을 가진 야생 이미지도 고해상도와 세부 정보 유지율을 유지한 채로 편집할 수 있다.
• 재구성 실험을 통해 HifaFace의 생성기는 출력 이미지에 숨겨진 신호를 인코딩하지 않음을 확인했으며, 이는 기준 모델이 스테가노그래피에 의존하는 것과 대조된다.

(b) $\bm{\hat{y}}=\bm{x}\text{ + EG}$