[논문 리뷰] Deep Feature Consistent Variational Autoencoder

Xianxu Hou, Linlin Shen외 2명|arXiv (Cornell University)|2016. 10. 02.

Face recognition and analysis참고 문헌 32인용 수 14

한 줄 요약

이 논문은 전통적인 픽셀 단위 재구성 손실 대신 사전 훈련된 CNN의 깊이 있는 특징을 기반으로 한 지각 손실을 사용하는 딥 페처 일致성 변분 오토에인드어(DFC-VAE)를 제안한다. 이는 이미지 생성 품질과 의미적 표현 능력을 크게 향상시키며, 학습된 잠재 벡터를 사용해 얼굴 속성 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel method for constructing Variational Autoencoder (VAE). Instead of using pixel-by-pixel loss, we enforce deep feature consistency between the input and the output of a VAE, which ensures the VAE's output to preserve the spatial correlation characteristics of the input, thus leading the output to have a more natural visual appearance and better perceptual quality. Based on recent deep learning works such as style transfer, we employ a pre-trained deep convolutional neural network (CNN) and use its hidden features to define a feature perceptual loss for VAE training. Evaluated on the CelebA face dataset, we show that our model produces better results than other methods in the literature. We also show that our method can produce latent vectors that can capture the semantic information of face expressions and can be used to achieve state-of-the-art performance in facial attribute prediction.

연구 동기 및 목표

• 표준 VAE에서 사용하는 픽셀 단위 재구성 손실이 공간 상관관계를 유지하지 못해 생성된 이미지가 흐릿해지는 문제를 해결하기 위해.
• 사전 훈련된 CNN에서 추출한 깊이 있는 특징 표현의 일관성을 강제하여 VAE가 생성하는 이미지의 지각적 품질을 향상시키기 위해.
• 학습된 잠재 공간이 후속 작업을 위한 의미적이고 개념적인 정보를 얼마나 잘 포착하고 있는지 평가하기 위해.
• DFC-VAE에서 유도된 잠재 벡터를 사용해 얼굴 속성 예측에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 표준 픽셀 단위 L2 재구성 손실 대신, 입력 이미지와 재구성된 이미지에 대해 사전 훈련된 CNN(예: VGGNet)의 고수준 특징에서 계산된 지각 손실을 VAE에 도입한다.
• 사전 훈련된 CNN의 여러 층에서 추출한 특징을 사용해 다중 해상도 지각 손실을 계산함으로써 공간 상관관계 일관성을 향상시킨다.
• 지각 재구성 손실과 KL 분산 정규화 항의 합을 최적화하여 VAE를 엔드 투 엔드로 훈련시킨다.
• 에코더 네트워크에서 잠재 벡터를 추출하고, 이를 후속 분류 작업(예: 얼굴 속성 예측)의 입력 특징으로 사용한다.
• 잠재 벡터에 선형 SVM 분류기를 적용하여 CelebA 데이터셋에서 이진 속성 예측을 수행한다.
• 일致한 평가를 위해 진짜 얼굴 랜드마크를 사용해 얼굴 영역을 자르기

실험 결과

연구 질문

• RQ1 픽셀 단위 재구성 손실을 깊이 있는 특징 기반 지각 손실로 대체하면 VAE가 생성하는 이미지의 시각적 품질과 지각적 현실감이 향상되는가?
• RQ2 제안된 DFC-VAE 모델의 잠재 공간이 얼굴 이미지에 대한 의미적이고 개념적인 정보를 충분히 포착하고 있는가?
• RQ3 DFC-VAE에서 학습된 잠재 벡터는 다른 특징 추출 방법에 비해 얼굴 속성 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 딥 CNN 특징 기반 지각 손실이 전통적인 픽셀 단위 손실에 비해 공간 상관관계와 이미지 구조를 얼마나 잘 유지하는가?

주요 결과

• DFC-VAE 모델은 픽셀 단위 손실을 사용하는 기준 VAE에 비해 더 선명하고 시각적으로 현실적인 얼굴 이미지를 생성한다.
• VAE-345에서 유도된 잠재 벡터를 사용해 얼굴 속성 예측 정확도가 88.73%에 도달했으며, PANDA-l(85.43%) 및 VGG-FC(79.85%)를 포함한 모든 비교 방법보다 뛰어나다.
• DFC-VAE의 잠재 공간는 강력한 개념적 표현 능력을 보이며, 부드러운 보간과 속성 조작이 가능하다.
• 깊이 있는 특징 기반 지각 손실은 공간 상관관계를 효과적으로 유지하고 이미지 품질을 향상시켜 표준 VAE에서 흔히 발생하는 흐림 현상을 줄인다.
• 이 방법은 사전 훈련된 네트워크의 깊이 있는 특징가 VAE 훈련에 강력한 인덕티브 바이어스로 기능할 수 있음을 보여주며, 생성 및 표현 학습을 모두 향상시킨다.