[논문 리뷰] Inverting face embeddings with convolutional neural networks

Andrey Zhmoginov, M. Sandler|arXiv (Cornell University)|2016. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 52

한 줄 요약

이 논문은 반복적 기울기 하강 또는 훈련된 순방향 전파 컨볼루션 신경망을 사용하여 FaceNet의 깊은 얼굴 임베딩을 실사적이고 일관된 얼굴 이미지로 역으로 변환하는 방법을 제안한다. 핵심 기여는 단순한 정규화 기법—예를 들어 총 변화(Total Variation), 라플라시안 피라미드 기울기, 중간층 감독—을 통해 생성적 대립적 훈련 없이도 고품질의 이미지 복원을 가능하게 하여 단일 추론 패assing을 통해 실시간 추론을 달성할 수 있음을 보여주는 것이다.

ABSTRACT

Deep neural networks have dramatically advanced the state of the art for many areas of machine learning. Recently they have been shown to have a remarkable ability to generate highly complex visual artifacts such as images and text rather than simply recognize them. In this work we use neural networks to effectively invert low-dimensional face embeddings while producing realistically looking consistent images. Our contribution is twofold, first we show that a gradient ascent style approaches can be used to reproduce consistent images, with a help of a guiding image. Second, we demonstrate that we can train a separate neural network to effectively solve the minimization problem in one pass, and generate images in real-time. We then evaluate the loss imposed by using a neural network instead of the gradient descent by comparing the final values of the minimized loss function.

연구 동기 및 목표

• 인식에 주로 사용되는 저차원 얼굴 임베딩에서 현실적인 얼굴 이미지를 복원하는 문제에 대응하기 위해.
• 동일한 임베딩 벡터로 매핑될 수 있는 다양한 이미지가 존재하는 바람직하지 않은 역문제의 모호성을 해결하기 위해.
• 제어된 자세와 방향을 갖춘 일관되고 현실적인 얼굴 이미지를 생성하여 무작위 또는 노이즈가 섞인 복원을 방지하기 위해.
• 단일 추론 패assing을 통해 최적화 문제를 해결할 수 있도록 순방향 신경망을 훈련시켜 실시간 얼굴 복원을 가능하게 하기 위해.
• 생성적 대립 훈련 없이도 반복 최적화 기법과 비교할 만한 고품질 복원 결과를 도출할 수 있음을 보여주기 위해.

제안 방법

• 사전 훈련된 FaceNet 모델을 사용하여 얼굴 이미지에서 128차원 정규화된 임베딩을 추출한다.
• 복원을 손실 최소화 문제로 공식화한다: 네트워크 출력 임베딩과 목표 임베딩 간의 거리를 최소화하며, 정규화 항을 추가한다.
• 이미지의 부드러움을 강화하고 노이즈를 감소시키기 위해 총 변화(Total Variation) 손실과 라플라시안 피라미드 기울기 정규화를 적용한다.
• 복원 이미지의 중간 특징 맵과 지도 이미지의 중간 특징 맵 간의 ℓ₂ 거리를 포함하여 자세, 방향, 얼굴 구조를 유지한다.
• 반복 최적화를 회피하기 위해, 목표 임베딩과 지도 이미지를 직접 입력으로 받아 복원된 얼굴 이미지를 출력하는 별도의 순방향 전파 컨볼루션 신경망을 훈련한다.
• 반복적 복원 목표를 반영한 복합 손실 함수를 사용하여 순방향 네트워크를 최적화함으로써, 한 번의 추론 패assing으로도 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성적 대립 훈련 없이도 깊은 신경망이 얼굴 임베딩을 실사적이고 일관된 얼굴 이미지로 효과적으로 역전환할 수 있는가?
• RQ2 TV 손실, 특징 매칭 등 단순한 정규화 기법이 더 복잡한 생성 모델에 비해 고품질 복원 결과를 얼마나 잘 도출하는가?
• RQ3 순방향 네트워크가 얼굴 임베딩 역전환을 위한 반복 최적화 과정의 해를 얼마나 잘 근사할 수 있는가?
• RQ4 복원된 이미지의 품질이 원본 얼굴과의 임베딩 공간 거리 및 코사인 유사도와 어떻게 관련이 있는가?
• RQ5 훈련된 순방향 네트워크가 새로운 임베딩에 일반화되고, 일관된 신원을 유지하면서 비디오 시퀀스 간에 얼굴 외형을 전이할 수 있는가?

주요 결과

• 정규화를 적용한 반복 기울기 하강 방법은 지도 이미지의 자세와 방향을 잘 따르는 매우 현실적이고 일관된 얼굴 복원 결과를 생성한다.
• 순방향 네트워크는 반복 최적화보다 평균 손실 값이 1.6배 높지만, 시각적으로 열등한 결과를 내는 대신 더 뛰어난 결과를 도출함으로써 최적화의 정확성과 시각적 품질 사이의 상충 관계를 보여준다.
• 단지 50개의 필터만으로도 순방향 네트워크는 정규화된 임베딩 내적값을 0.752로 도출하여, 일반적으로 같은 사람의 실사 사진 간 평균 0.6을 초월한다.
• 이 방법은 임베딩을 비디오 시퀀스로 전이하는 데 성공하여, 다양한 자세를 가진 여러 프레임에 동일한 임베딩를 적용함으로써 일관된 애니메이션을 생성할 수 있다.
• 임베딩가 거의 동일한 경우에도 복원 결과는 여전히 구분 가능하여, 이 방법이 미세한 신원 특징을 효과적으로 포착하고 있음을 시사한다.
• 생성적 대립 훈련이 없더라도 성능 저하가 발생하지 않으며, 오히려 적절한 정규화를 통해 임베딩 공간이 충분히 완전하여 고해상도 복원을 지원할 수 있음을 보여준다.