[논문 리뷰] Convolutional Network for Attribute-driven and Identity-preserving Human Face Generation

Mu Li, Wangmeng Zuo외 1명|arXiv (Cornell University)|2016. 08. 23.

Face recognition and analysis참고 문헌 21인용 수 48

한 줄 요약

이 논문은 특정 속성을 가진 현실적인 인간 얼굴을 생성하면서 기준 이미지의 신원을 유지하는 최적화 기반 딥러닝 방법을 제안한다. 사전 훈련된 VGG-Face 네트워크로부터 추출한 지각 손실과 함께 신원, 속성, 총 변동성 정규화를 통합함으로써, 경사 하강법을 통해 고품질의 신원 유지 얼굴을 생성하며, 속성 기반 및 신원 일致성 있는 얼굴 생성 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper focuses on the problem of generating human face pictures from specific attributes. The existing CNN-based face generation models, however, either ignore the identity of the generated face or fail to preserve the identity of the reference face image. Here we address this problem from the view of optimization, and suggest an optimization model to generate human face with the given attributes while keeping the identity of the reference image. The attributes can be obtained from the attribute-guided image or by tuning the attribute features of the reference image. With the deep convolutional network "VGG-Face", the loss is defined on the convolutional feature maps. We then apply the gradient decent algorithm to solve this optimization problem. The results validate the effectiveness of our method for attribute driven and identity-preserving face generation.

연구 동기 및 목표

• 기존의 CNN 기반 얼굴 생성 모델이 속성을 수정할 때 신원을 유지하지 못하는 한계를 해결하기 위해.
• 주어진 기준 얼굴의 신원을 유지하면서 특정 속성을 가진 현실적인 인간 얼굴을 생성하기 위해.
• 적대적 훈련이나 오토인코딩을 피하기 위해 사전 훈련된 네트워크의 심층 특징을 활용한 최적화 기반 이미지 생성을 탐색하기 위해.
• 공간적 속성 마스크와 기준 이미지로부터의 색상 공간 전이를 통해 시각적 품질을 향상시키기 위해.

제안 방법

• 사전 훈련된 VGG-Face 네트워크의 중간 층에서 추출한 지각 손실을 사용하여 얼굴 생성을 최적화 문제로 공식화한다.
• 속성 전이, 신원 유지, 총 변동성(TV) 정규화를 결합한 손실 함수를 정의하여 부드러움과 선명함을 보장한다.
• 빈 이미지에서 시작하여 VGG-Face 네트워크를 통해 역전파를 수행하면서 경사 하강법을 적용해 최종 얼굴를 생성한다.
• 특정 얼굴 속성의 수정을 국소화하기 위해 공간 마스크를 도입하여 시각적 정밀도를 향상시킨다.
• 기준 이미지로부터 생성된 얼굴에 색상 전이를 적용하여 색상 불일치 문제를 해결한다.
• 신원 충실도와 속성 두드러짐 사이의 트레이드오프를 고려해 지각 손실에 적합한 컨볼루션 층(예: conv3_1)를 선택한다.

실험 결과

연구 질문

• RQ1 심층 컨volution 네트워크는 특정 속성을 가진 얼굴을 생성하면서 기준 이미지의 신원을 유지하는 데 효과적으로 활용될 수 있는가?
• RQ2 VGG-Face의 다양한 컨볼루션 층 선택이 신원 유지와 속성 전이 품질 사이의 트레이드오프에 미치는 영향은 무엇인가?
• RQ3 총 변동성 정규화는 생성된 얼굴의 시각적 품질과 노이즈 수준에 어떤 영향을 미치는가?
• RQ4 공간 마스크와 색상 전이의 사용은 생성된 얼굴의 현실성과 일관성 향상에 얼마나 효과적인가?

주요 결과

• 모델은 '안경 착용', '웃는 얼굴', '크고 넓은 코', '입을 다문 상태'와 같은 특정 속성을 가진 현실적인 얼굴을 생성하면서 기준 얼굴의 신원을 성공적으로 유지한다.
• 지각 손실에 대해 conv3_1 층을 사용할 경우 신원 충실도와 속성 두드러짐 사이의 최적 균형을 이룬다. 이는 낮은 층(예: conv2_1)과 높은 층(예: conv3_2)보다 성능이 뛰어나다.
• 총 변동성(TV) 정규화기는 영향을 미치며, 이를 생략할 경우 생성된 얼굴이 노이즈가 많고, 너무 높은 가중치를 적용할 경우 과도하게 부드럽고 흐릿해진다.
• 공간 마스크와 색상 전이의 통합은 특히 안경 착용이나 코 모양과 같은 국소적 속성에 대해 시각적 품질을 향상시킨다.
• LFW 데이터셋에서의 실험 결과, 속성 레이블에 최대 10%의 오류가 포함되어 있어도 이 방법은 고품질의 신원 유지 얼굴을 생성하는 데 성공한다.