[논문 리뷰] Deep Identity-aware Transfer of Facial Attributes

Mu Li, Wangmeng Zuo외 1명|arXiv (Cornell University)|2016. 10. 18.

Face recognition and analysis참고 문헌 55인용 수 141

한 줄 요약

DIAT는 마스크 가이드 두 네트워크 시스템(마스크 네트워크와 속성 변환 네트워크)을 사용하며, 얼굴 속성을 전이하면서 신원을 보존하기 위해 적대적(adversarial), 적응적 지각(adaptive perceptual), 아이덴티티(identity), 지각 규제(perceptual regularization), 및 속성 비율(attribute ratio) 손실로 학습된다; 로컬, 글로벌 또는 신원 관련 속성에 적용 가능하고 테스트 시 효율적이다.

ABSTRACT

This paper presents a Deep convolutional network model for Identity-Aware Transfer (DIAT) of facial attributes. Given the source input image and the reference attribute, DIAT aims to generate a facial image that owns the reference attribute as well as keeps the same or similar identity to the input image. In general, our model consists of a mask network and an attribute transform network which work in synergy to generate a photo-realistic facial image with the reference attribute. Considering that the reference attribute may be only related to some parts of the image, the mask network is introduced to avoid the incorrect editing on attribute irrelevant region. Then the estimated mask is adopted to combine the input and transformed image for producing the transfer result. For joint training of transform network and mask network, we incorporate the adversarial attribute loss, identity-aware adaptive perceptual loss, and VGG-FACE based identity loss. Furthermore, a denoising network is presented to serve for perceptual regularization to suppress the artifacts in transfer result, while an attribute ratio regularization is introduced to constrain the size of attribute relevant region. Our DIAT can provide a unified solution for several representative facial attribute transfer tasks, e.g., expression transfer, accessory removal, age progression, and gender transfer, and can be extended for other face enhancement tasks such as face hallucination. The experimental results validate the effectiveness of the proposed method. Even for the identity-related attribute (e.g., gender), our DIAT can obtain visually impressive results by changing the attribute while retaining most identity-aware features.

연구 동기 및 목표

• 다양한 작업(표정, 액세서리, 연령, 성별)에 걸쳐 신원을 보존하는 통합 얼굴 속성 전이의 동기를 부여한다.
• 속성과 관련된 영역에 편집을 집중시키기 위한 두 네트워크 프레임워크(마스크와 변환)를 개발한다.
• 실제 대상 없이 적대적(loss)와 지각적 손실을 사용한 속성 전이를 위한 비지도 학습을 가능하게 한다.

제안 방법

• 마스크 네트워크를 도입하여 속성 관련 영역 마스크 M(x)를 예측한다.
• 속성 변환 네트워크(Unet 기반)를 도입하여 변환된 이미지 T(x)를 생성한다.
• 출력들을 F(x)=M(x)∘T(x)+(1−M(x))∘x로 결합하여 최종 결과를 생성한다.
• 판별자 D를 사용한 적대적 속성 손실로 속성 분포를 맞추며 학습한다.
• 판별기의 특징에 정의된 적응적 지각 손실(adaptive perceptual loss)로 신원 관련 내용을 보존하도록 한다.
• VGG-Face 특징을 기반으로 한 아이덴티티 손실을 적용하여 신원 유지력을 강화한다.
• 노이즈 제거 네트워크(DN)를 통한 지각 정규화로 아티팩트를 억제한다.
• 마스크에 대한 속성 비율 정규화를 적용하여 편집 영역의 크기를 제어한다.
• 안정성과 성능을 위한 교대 학습 스킴을 활용한다.

실험 결과

연구 질문

• RQ1 DIAT가 로컬 및 글로벌 속성에서 원본 신원을 보존하면서 원하는 속성을 전이할 수 있는가?
• RQ2 적대적 속성 손실, 적응적 지각 손실, 아이덴티티 손실이 전이 품질에 어떻게 기여하는가?
• RQ3 신원 관련 속성과 비신원 관련 속성 모두를 효과적으로 다룰 수 있는가?
• RQ4 실용적 사용에 충분한 효율성을 가지며 얼굴 홀로그램화 같은 작업으로 확장 가능한가?

주요 결과

• DIAT는 표정, 액세서리 제거, 연령 진행, 성별 전이 등의 작업에서 신원 변화가 최소화되면서 시각적으로 설득력 있는 속성 전이를 달성한다.
• 테스트 중에 1초당 100장 이상의 이미지를 처리할 수 있다.
• 마스크 안내 전략은 편집을 속성 관련 영역으로 제한하여 비관련 영역의 아티팩트를 줄인다.
• 속성 판별기에 정의된 적응적 지각 손실은 신원 인지적 전이와 학습 효율을 촉진한다.
• 지각 정규화를 통해 디노이징 네트워크가 아티팩트를 억제하면서도 디테일을 희생하지 않는다.
• 속성 비율 정규화를 통해 다양한 속성에서 편집의 공간적 범위를 제어할 수 있다.