[논문 리뷰] GmFace: A Mathematical Model for Face Image Representation Using Multi-Gaussian

Liping Zhang, Weijun Li외 6명|arXiv (Cornell University)|2020. 08. 03.

Face recognition and analysis참고 문헌 47인용 수 4

한 줄 요약

GmFace는 제어 가능한 파arameter를 가진 다중 가우시안 함수를 사용하여 얼굴 구조를 수학적으로 표현하는 방법을 제안한다. GmFace 파arameter를 인코딩하는 가우시안 뉴런을 갖춘 GmNet을 학습시켜 얼굴 모델링을 네트워크 최적화 문제로 전환함으로써 정밀하고 미분 가능한 얼굴 재구성과 파arameter 조작을 통한 수학적 얼굴 변환을 가능하게 한다.

ABSTRACT

Establishing mathematical models is a ubiquitous and effective method to understand the objective world. Due to complex physiological structures and dynamic behaviors, mathematical representation of the human face is an especially challenging task. A mathematical model for face image representation called GmFace is proposed in the form of a multi-Gaussian function in this paper. The model utilizes the advantages of two-dimensional Gaussian function which provides a symmetric bell surface with a shape that can be controlled by parameters. The GmNet is then designed using Gaussian functions as neurons, with parameters that correspond to each of the parameters of GmFace in order to transform the problem of GmFace parameter solving into a network optimization problem of GmNet. The face modeling process can be described by the following steps: (1) GmNet initialization; (2) feeding GmNet with face image(s); (3) training GmNet until convergence; (4) drawing out the parameters of GmNet (as the same as GmFace); (5) recording the face model GmFace. Furthermore, using GmFace, several face image transformation operations can be realized mathematically through simple parameter computation.

연구 동기 및 목표

• 다중 가우시안 함수를 사용하여 수학적으로 엄밀하고 제어 가능한 얼굴 이미지 표현 방식을 개발하기 위해.
• 생리적 변동성과 동적 행동으로 인한 복잡한 얼굴 구조 모델링의 과제를 해결하기 위해.
• GmNet을 통해 GmFace 모델의 파arameter 추정 문제를 학습 가능한 신경망 최적화 과제로 전환하기 위해.
• GmFace 파arameter의 직접 조작을 통해 수학적 얼굴 변환(예: 편집, 합성)을 가능하게 하기 위해.

제안 방법

• 각 가우시안 성분이 조절 가능한 진폭, 평균, 공분산을 갖는 국소적 얼굴 특징을 캡처하는 다중 가우시안 함수를 사용하여 얼굴 이미지를 모델링하기 위해.
• GmFace의 각 가우시안 성분에 대응하는 뉴런을 갖는 신경망으로서 GmNet을 설계하여, 학습 가능한 파arameter가 GmFace의 구조를 그대로 반영하도록 하기 위해.
• GmNet을 초기화하고 얼굴 이미지에 대해 학습시어 입력 얼굴 이미지를 최적으로 재구성하는 파arameter를 최적화하기 위해.
• 학습 과정을 수렴시켜 최종 GmFace 파arameter를 추출하여 전체 얼굴 모델을 정의하기 위해.
• 학습된 GmFace 파aram터를 사용하여 재학습 없이도 간단한 파arameter 계산을 통해 얼굴 편집 또는 합성과 같은 수학적 연산을 수행하기 위해.
• 2차원 가우시안 함수의 본질적 성질을 통해 얼굴 표현의 대칭성과 부드러움을 확보하기 위해.

실험 결과

연구 질문

• RQ1 다중 가우시안 함수는 높은 정밀도와 제어 가능성으로 복잡한 얼굴 구조를 효과적으로 표현할 수 있는가?
• RQ2 딥 러닝을 통해 GmFace 모델의 파aram터 추정 문제를 효율적으로 해결할 수 있는가?
• RQ3 GmFace 파aram터의 직접 조작을 통해 수학적 얼굴 변환을 어느 정도 달성할 수 있는가?
• RQ4 GmNet 아키텍처는 다양한 얼굴 외형에 대해 일반화되며 기하학적 및 광학적 정확성을 유지할 수 있는가?

주요 결과

• GmFace 모델은 높은 재구성 정확도를 달성하면서도 낮은 수의 다중 가우시안 성분으로 얼굴 이미지를 성공적으로 표현한다.
• GmNet은 엔드 투 엔드 학습을 통해 GmFace 파aram터를 효과적으로 학습하여 강력하고 안정적인 얼굴 모델링을 가능하게 한다.
• 재학습 없이도 단순한 파aram터 계산을 통해 얼굴 편집 또는 합성과 같은 얼굴 이미지 변환이 가능하다.
• 이 방법은 다양한 얼굴 분석 및 합성 응용 분야에 유용한, 미분 가능하고 해석 가능한 얼굴 모델링을 실현한다.
• 2차원 가우시안 함수의 사용으로 대칭적이고 부드럽고 파aram터 제어가 가능한 얼굴 표면 표현이 보장된다.
• 파라미터 수준 조작을 통한 얼굴 인식 및 생성과 같은 후속 작업에 대한 잠재력을 보여준다.