[논문 리뷰] LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup

Qiao Gu, Guanzhi Wang외 3명|arXiv (Cornell University)|2019. 04. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 9

한 줄 요약

LADN는 지역적 적대적 분리 네트워크를 도입하여 겹치는 국소 판별기와 비대칭 손실 함수를 사용함으로써 고해상도, 사진처럼 사실적인 얼굴 메이크업 이식 및 제거를 가능하게 하며, 특히 고주파 수준의 세부 정보를 포함한 복잡하고 드라마틱한 스타일에 유리하다. 이는 정체성과 콘텐츠를 메이크업 속성에서 분리함으로써 다양한 메이크업 스타일 간에도 얼굴의 구조와 정체성을 유지하면서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We propose a local adversarial disentangling network (LADN) for facial makeup and de-makeup. Central to our method are multiple and overlapping local adversarial discriminators in a content-style disentangling network for achieving local detail transfer between facial images, with the use of asymmetric loss functions for dramatic makeup styles with high-frequency details. Existing techniques do not demonstrate or fail to transfer high-frequency details in a global adversarial setting, or train a single local discriminator only to ensure image structure consistency and thus work only for relatively simple styles. Unlike others, our proposed local adversarial discriminators can distinguish whether the generated local image details are consistent with the corresponding regions in the given reference image in cross-image style transfer in an unsupervised setting. Incorporating these technical contributions, we achieve not only state-of-the-art results on conventional styles but also novel results involving complex and dramatic styles with high-frequency details covering large areas across multiple facial features. A carefully designed dataset of unpaired before and after makeup images is released.

연구 동기 및 목표

• 기존의 GAN 기반 방법이 처리하지 못하는 고주파 세부 정보를 포함한 드라마틱한 메이크업 스타일의 이식 및 제거 과제를 해결하기 위해.
• 전역 판별기와 단일 국소 판별기의 한계를 극복하여 교차 도메인 이미지 변환 과정에서 세밀한 메이크업 세부 정보와 얼굴 정체성을 유지하기 위해.
• 쌍체의 훈련 데이터나 소스 이미지와 기준 이미지 간 정밀한 정렬이 필요 없이 비지도 학습 기반으로 정체성을 유지하는 메이크업 이식 및 제거를 가능하게 하기 위해.
• 콘텐츠와 정체성 요소에서 메이크업 속성을 분리하는 분리 표현을 설계하여 스타일 간의 보간 및 제어를 가능하게 하기 위해.
• 비상업적 연구 목적을 위해 사용 가능한 새로운 비쌍체 메이크업 이미지 데이터셋(사전-후 이미지 쌍)을 공개하기 위해.

제안 방법

• 이미지의 겹치지 않지만 공간적으로 인접한 패치에 작용하는 다수의 겹치는 국소 적대적 판별기를 도입하여 이미지 변환 과정에서 국소 세부 정보의 일관성을 강화한다.
• 콘텐츠는 도메인 불변 공간에 인코딩되고 메이크업 스타일은 도메인 특화 속성 공간에 존재하는 콘텐츠-스타일 분리 인코더-디코딩 아키텍처를 활용한다.
• 메이크업 이식 및 제거 브랜치에 비대칭 손실 함수를 적용하여 메이크업 잠재 변수를 정체성 및 텍스처 요소에서 효과적으로 분리하도록 유도한다.
• 제거 브랜치에서 부드러움 손실을 도입하여 국소 색상의 연속성을 증진하고 고주파 메이크업 영역에서의 아티팩트를 감소시킨다.
• 원본 이미지와 재구성된 이미지 간 사이클 일관성 손실을 활용하여 번역 과정에서 구조적 및 정체성 유지 보장을 보장한다.
• 얼굴 키포인트 검출을 활용하여 국소 판별기의 공간적 위치를 정의함으로써 정밀한 기하학적 정렬이 필요 없이도 강력한 국소화를 달성한다.

실험 결과

연구 질문

• RQ1 전역 판별기에 의존하지 않고도 국소 적대적 판별기를 통해 큰 얼굴 영역에 걸쳐 고주파 메이크업 세부 정보를 효과적으로 이식할 수 있는가?
• RQ2 비지도 설정에서 비대칭 손실 함수가 메이크업 속성을 정체성 및 텍스처 요소에서 효과적으로 분리할 수 있는가?
• RQ3 복잡한 색상 전이와 질감을 포함한 드라마틱한 메이크업 스타일(눈이나 입에 국한되지 않은)에 대해 네트워크가 일반화 가능한가?
• RQ4 부드러움 손실이 날카러운 색상 변화나 고주파 세부 정보 영역에서 아티팩트를 줄이는 데 얼마나 효과적인가?
• RQ5 분리된 속성 공간이 얼굴 정체성을 유지하면서도 서로 다른 메이크업 스타일 간에 의미 있는 보간을 가능하게 하는가?

주요 결과

• LADN는 특히 고주파 세부 정보를 포함한 극단적이고 드라마틱한 스타일에 대해 얼굴 메이크업 이식 및 제거에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• 이전 방법이 처리하지 못하는 영역까지 포함하여 눈이나 입을 초월한 큰 얼굴 영역을 커버하는 메이크업 스타일까지도 성공적으로 이식 및 제거할 수 있다.
• 겹치는 국소 판별기의 사용은 전역 또는 단일 국소 판별기보다 더 정밀한 세부 정보 이식을 가능하게 하며, 아티팩트를 감소시키고 세밀한 질감을 유지한다.
• 비대칭 손실 함수는 메이크업 잠재 변수를 효과적으로 분리하여 얼굴 정체성이 유지되는 사진처럼 사실적인 출력을 생성한다.
• 부드러움 손실은 극단적인 메이크업 영역에서 색상 불연속성과 환영 현상을 줄여 제거 결과를 크게 향상시킨다.
• 두 메이크업 스타일 간의 보간은 색상과 질감에서 매끄럽고 자연스러운 전이를 만들어내며, 분리된 속성 공간이 스타일 혼합 및 제어에 실용적임을 입증한다.