[논문 리뷰] Learning Residual Images for Face Attribute Manipulation

Wei Shen, Rujie Liu|arXiv (Cornell University)|2016. 12. 16.

Face recognition and analysis참고 문헌 28인용 수 11

한 줄 요약

이 논문은 원본 얼굴과 수정된 얼굴 간의 차이인 잔차 이미지(잔차 이미지)를 학습하여 GAN 기반의 얼굴 속성 조작 방법을 제안한다. 이는 정체성과 관련된 세부 정보를 유지하면서 효율적이고 국소적인 수정을 가능하게 한다. 반대로 조작(예: 안경 착용 및 제거) 간의 이중 학습을 통해 모델은 생성 품질을 향상시키고 얼굴 구조를 유지하며, 안경 제거 후 랜드마크 검출 정확도 향상으로써 검증된다.

ABSTRACT

Face attributes are interesting due to their detailed description of human faces. Unlike prior researches working on attribute prediction, we address an inverse and more challenging problem called face attribute manipulation which aims at modifying a face image according to a given attribute value. Instead of manipulating the whole image, we propose to learn the corresponding residual image defined as the difference between images before and after the manipulation. In this way, the manipulation can be operated efficiently with modest pixel modification. The framework of our approach is based on the Generative Adversarial Network. It consists of two image transformation networks and a discriminative network. The transformation networks are responsible for the attribute manipulation and its dual operation and the discriminative network is used to distinguish the generated images from real images. We also apply dual learning to allow transformation networks to learn from each other. Experiments show that residual images can be effectively learned and used for attribute manipulations. The generated images remain most of the details in attribute-irrelevant areas.

연구 동기 및 목표

• 이미지에서 속성을 예측하는 것이 아니라, 원하는 속성 값으로 얼굴 이미지를 수정하는 얼굴 속성 조작의 역문제를 해결하는 것.
• 자기 정체성과 관련된 세부 정보(예: 머리카락, 피부 질감)를 유지하면서 속성 조작 중에 손상이 발생하지 않도록 하는 것. 이는 자동에코더 기반 또는 GAN 전용 접근 방식에서 흔히 발생하는 열화 현상을 방지하기 위함이다.
• 전체 이미지 생성이 아닌 속성에 특화된 영역에 집중함으로써 잔차 이미지 학습을 통해 학습 효율성과 이미지 품질을 향상시키는 것.
• 이중 학습 프레임워크를 통해 반대 조작(예: 안경 착용 및 제거) 간 상호 감독을 가능하게 하여 특징 일관성과 현실감을 향상시키는 것.
• 특히 안경 제거에 대해 랜드마크 검출 정확도를 프록시 지표로 사용하여 방법의 효과성을 정량적으로 검증하는 것.

제안 방법

• 이 방법은 얼굴 속성 조작을 입력 이미지와 목표 조작 이미지 간의 픽셀 단위 차이로 정의되는 잔차 이미지 학습으로 모델링한다.
• G₀와 G₁라는 두 개의 이미지 변환 네트워크를 학습하여 원시적이고 이중적인 조작(예: 안경 착용 및 제거)을 각각 수행하며, 각각 입력에 대한 잔차 이미지를 생성한다.
• 최종 조작된 이미지는 입력 이미지와 예측된 잔차 이미지를 요소별로 덧셈하여 생성된다.
• 공유된 판별 네트워크 D는 세 가지 카테고리의 이미지를 분류한다: G₀에서 생성된 이미지, G₁에서 생성된 이미지, 양성 속성 레이블이 부여된 진짜 이미지, 음성 속성 레이블이 부여된 진짜 이미지.
• G₀와 G₁가 상호 역함수 관계가 되도록 이중 학습을 적용하여, 훈련 중에 서로를 감독함으로써 특징 일관성을 향상시킨다.
• 손실 함수는 adversarial loss, 이중 학습에서 유도된 사이클 일관성 손실, 그리고 정체성 세부 정보를 유지하고 현실감을 향상시키기 위한 인지적 손실을 조합한다.

실험 결과

연구 질문

• RQ1 잔차 이미지 학습이 정체성과 관련된 얼굴 영역에 영향을 최소화하면서도 속성에 특화된 수정을 효과적으로 포착할 수 있는가?
• RQ2 반대 조작 간의 이중 학습(예: 안경 착용 및 제거)이 생성된 이미지의 품질과 일관성을 향상시키는가?
• RQ3 제안된 방법이 VAE-GAN 접근 방식에서 흔히 발생하는 것과 같은 손상 없이 머리카락이나 피부 질감 등의 얼굴 세부 정보를 유지할 수 있는가?
• RQ4 안경 제거가 후속 얼굴 랜드마크 검출 정확도에 얼마나 기여하는가? 이는 조작 품질에 대한 유효한 정량적 지표로 기능할 수 있는가?
• RQ5 큰 얼굴 자세나 희귀한 속성 조합(예: 여성 얼굴에 수염)과 같은 도전적인 조건에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법을 사용해 안경을 제거한 후 눈 영역의 평균 정규화된 랜드마크 검출 오차는 안경 영향을 받는 이미지에서 0.03570에서 0.03048로 감소하여 얼굴 구조 유지에 대한 명확한 향상을 보였다.
• 조작된 테스트 세트(D1_m)에서의 랜드마크 검출 오차는 깨끗한 세트(D0)와 거의 동일했으며, 이는 속성 외부 영역이 조작 후 거의 변화하지 않았음을 시사한다.
• VAE-GAN 모델과 비교했을 때, 제안된 방법은 여성 얼굴에 수염을 추가하는 과정에서 원래의 머리카락 길이를 성공적으로 유지했으며, 특징 상관관계로 인해 발생하는 오류적 단머리 아티팩트를 방지했다.
• 실패 사례는 주로 큰 얼굴 자세에서 발생했으며, 이는 잔차 이미지 학습이 극단적인 자세 상황에서는 일반화하기 어려운 한계를 보였음을 시사한다.
• 이중 학습 기반의 설계는 아티팩트 감소와 더 자연스러운 조작 결과로 이어져 이미지 품질과 특징 일관성 향상에 기여했다.
• 이 방법은 최소한의 픽셀 수준 변화로 고해상도의 속성 조작을 달성했으며, 이는 잔차 이미지 학습이 관련 얼굴 영역만 효과적으로 분리하고 수정함으로써 성공적으로 기능했음을 확인한다.