[논문 리뷰] Learning a face space for experiments on human identity

Jordan W. Suchow, Joshua C. Peterson외 1명|arXiv (Cornell University)|2018. 05. 19.

Face recognition and analysis참고 문헌 15인용 수 7

한 줄 요약

이 논문은 인간 정체성의 사진처럼 생생하고 심리적으로 일치하는 얼굴 공간을 학습하기 위해 Humanæ 데이터셋에서 훈련된 자동회귀적 디코더를 갖춘 변분 오토인코더를 제안한다. 이 모델은 가짜 정체성의 고품질, 탐색 가능한 생성을 가능하게 하며, 전문가가 필요 없는 빠른 '경찰 초상화' 생성을 위한 상호작용적 진화 계산에서 성공을 거두었고, 인간 참가자들이 심리물리적 튜링 테스트를 통과하지 못하는 높은 비율을 보였다.

ABSTRACT

Generative models of human identity and appearance have broad applicability to behavioral science and technology, but the exquisite sensitivity of human face perception means that their utility hinges on the alignment of the model's representation to human psychological representations and the photorealism of the generated images. Meeting these requirements is an exacting task, and existing models of human identity and appearance are often unworkably abstract, artificial, uncanny, or biased. Here, we use a variational autoencoder with an autoregressive decoder to learn a face space from a uniquely diverse dataset of portraits that control much of the variation irrelevant to human identity and appearance. Our method generates photorealistic portraits of fictive identities with a smooth, navigable latent space. We validate our model's alignment with human sensitivities by introducing a psychophysical Turing test for images, which humans mostly fail. Lastly, we demonstrate an initial application of our model to the problem of fast search in mental space to obtain detailed "police sketches" in a small number of trials.

연구 동기 및 목표

• 인간의 심리적 얼굴 인식 표현과 일치하는 잠재 공간을 갖춘 인간 정체성의 생성 모델을 개발하기 위해.
• 사람들의 시각적 다양성을 반영하는 사진처럼 생생하고 다양한, 공포감이 없는 초상화를 생성하기 위해.
• 정신적 정체성 표현(예: 경찰 초상화와 같은)을 효율적으로 탐색할 수 있도록 인간이 참여하는 루프를 가능하게 하기 위해.
• 인간 참가자들이 생성된 얼굴와 실제 얼굴을 신뢰성 있게 구분하지 못하는 심리물리적 튜링 테스트를 통해 모델의 현실성 검증하기 위해.
• 상호작용적 진화 계산을 통해 잠재 공간의 유용성을 입증하여, 정확하고 신속한 정체성 기술 정보 검색을 가능하게 하기 위해.

제안 방법

• Humanæ 데이터셋의 3,353장의 정면 초상화에서 훈련된 변분 오토인코더(PixelVAE)를 사용하여 분리된, 매끄러운 잠재 얼굴 공간을 학습하였다.
• 심리물리적 튜링 테스트를 통해 인간 참가자가 실제 얼굴과 가짜 얼굴을 구분하는 능력을 측정함으로써 생성된 이미지의 현실성 평가를 수행하였다.
• 자연적 진화 전략을 사용하여 인간의 유사도 평가 기반으로 잠재 공간 점을 최적화하는 상호작용적 진화 계산을 적용하였다.
• 각 검색 라운드를 잠재 공간 내의 시드로 초기화하고, 인간 평가자의 순위와 가우시안 노이즈 변형을 기반으로 한 기울기 추정치를 사용하여 업데이트하였다.
• 1라운드당 10명의 참여자로 구성된 커뮤니티 기반 순위 시스템을 활용하여 초상화의 적합도 점수를 계산하고 목표 정체성 쪽으로 검색을 이끌었다.
• 생성된 512×512 초상화의 해상도를 향상시키기 위해 이미지 슈퍼레졸루션 기법을 적용하였으며, 이는 정체성 일관성을 유지하였다.

실험 결과

연구 질문

• RQ1 학습된 얼굴 공간이 인간의 얼굴 정체성에 대한 심리적 표현을 어느 정도 반영하는가?
• RQ2 생성 모델이 심리물리적 튜링 테스트에서 인간이 실제 얼굴과 구분하지 못할 정도로 사진처럼 생생한 초상화를 생성할 수 있는가?
• RQ3 잠재 공간에서의 상호작용적 진화 계산은 언어적 기술 기반으로 정체성을 얼마나 효율적으로 검색할 수 있는가?
• RQ4 모델은 저해상도 또는 노이즈가 있는 시드로부터 고해상도, 정체성 유지 초상화를 생성할 수 있는가?
• RQ5 잠재 공간은 얼마나 보편적이며 다양한 인간 정체성을 표현할 수 있는가?

주요 결과

• 모델은 높은 수준의 현실성을 달성하여, 인간 참가자들이 심리물리적 튜링 테스트를 통과하지 못하는 수준이었고, 이는 생성된 이미지가 실제 초상화와 거의 구분되지 않음을 시사한다.
• 잠재 공간에서의 상호작용적 진화 계산은 이전 방법 대비 인간 평가가 필요한 횟수를 10배 감소시켰다.
• 모델은 허구 정체성의 사진처럼 생생한 512×512 초상화를 매끄럽고 탐색 가능한 잠재 공간을 통해 성공적으로 생성하였으며, 최소한의 잡음 요소를 보였다.
• 이미지 슈퍼레졸루션 기법은 정체성을 유지하면서도 해상도와 품질을 향상시켰고, 기반 잠재 표현을 변경하지 않았다.
• Humanæ 데이터셋은 크기가 작지만, 제어된 정체성 중심의 변동성 덕분에 매우 대표적이고 다양한 얼굴 공간을 학습하는 데 기여하였다.
• 잠재 공간은 인간의 인지적 유사성과 강하게 일치함을 입증하였으며, 언어적 기술 기반으로 목표 정체성을 찾는 인간 지도형 검색의 성공이 이를 뒷받침한다.