[논문 리뷰] Synthesizing facial photometries and corresponding geometries using generative adversarial networks
이 논문은 표준 컨volution 신경망을 사용할 수 있도록 기하 표면을 캐논ical한 왜곡 제어 매핑을 통해 2D 이미지로 매핑하는 GAN 기반 프레임워크를 제안한다. 이는 실감 나는 3D 얼굴 기하학적 구조와 해당 텍스처를 동시에 합성하는 데 기여한다. 이 방법은 광범위한 기하학적 및 광학적 세부 정보를 동시에 생성하면서도 그 상관관계를 유지하여, 새로운 신원에 대한 일반화 능력과 높은 현실감을 달성하며, 3DMM보다 분포 유사성과 특징 충실도에서 뛰어난 성능을 보였다.
Artificial data synthesis is currently a well studied topic with useful applications in data science, computer vision, graphics and many other fields. Generating realistic data is especially challenging since human perception is highly sensitive to non realistic appearance. In recent times, new levels of realism have been achieved by advances in GAN training procedures and architectures. These successful models, however, are tuned mostly for use with regularly sampled data such as images, audio and video. Despite the successful application of the architecture on these types of media, applying the same tools to geometric data poses a far greater challenge. The study of geometric deep learning is still a debated issue within the academic community as the lack of intrinsic parametrization inherent to geometric objects prohibits the direct use of convolutional filters, a main building block of today's machine learning systems. In this paper we propose a new method for generating realistic human facial geometries coupled with overlayed textures. We circumvent the parametrization issue by imposing a global mapping from our data to the unit rectangle. We further discuss how to design such a mapping to control the mapping distortion and conserve area within the mapped image. By representing geometric textures and geometries as images, we are able to use advanced GAN methodologies to generate new geometries. We address the often neglected topic of relation between texture and geometry and propose to use this correlation to match between generated textures and their corresponding geometries. We offer a new method for training GAN models on partially corrupted data. Finally, we provide empirical evidence demonstrating our generative model's ability to produce examples of new identities independent from the training data while maintaining a high level of realism, two traits that are often at odds.
연구 동기 및 목표
- 인간의 시각적 감각이 외관과 형태 간의 일관성 부족에 매우 민감하므로, 실감 나는 3D 얼굴 기하학적 구조와 텍스처를 동시에 생성하는 데 도전한다.
- 3D 다양체의 내재적 매개변수화가 부족하여 CNN을 기하 데이터에 적용하는 데 한계가 있음을 해결한다.
- 생성된 샘플에서 실감 나는 결합을 보장하기 위해 얼굴 텍스처와 기하학 간의 내재적 상관관계를 모델링한다.
- 손상 마스크 기법을 도입하여 부분적으로 손상된 데이터로도 학습이 가능하게 하여, 사용 가능한 데이터를 약 20% 증가시킨다.
- 학습 데이터에 존재하지 않는 다양한 고해상도 얼굴 신원을 생성하면서도 현실감을 유지한다.
제안 방법
- 눈과 입과 같은 고세부 영역에서 오차를 최소화하는 캐논리컬이고 왜곡 인식 매핑을 사용해 3D 얼굴 표면을 2D 이미지로 매핑한다.
- 텍스처와 기하학을 모두 단위 직사각형 상의 2D 이미지로 표현하여 표준 컨volution 신경망 처리를 가능하게 한다.
- 생성자 모델이 텍스처와 기하학 이미지의 동시 분포를 학습하고, 디스criminator가 현실감을 강제하는 GAN을 훈련한다.
- 학습 중에 손상 마스크를 도입하여 부분적으로 손상된 데이터로부터 학습할 수 있도록 하여 데이터 효율성을 향상시킨다.
- 공유된 캐논리컬 매핑을 사용해 생성된 텍스처와 기하학이 공간적 및 구조적으로 정렬되어 있도록 보장한다.
- 기하학에 대한 사전 지식으로 3D 모어포픽 모델(3DMM)을 사용하거나, 계수를 생성하거나 재구성의 기초로 활용한다.
실험 결과
연구 질문
- RQ13D 얼굴 기하학에서 2D 이미지로의 캐논리컬 매핑이 기하학적 정밀도를 유지하면서 효과적인 GAN 기반 합성에 기여할 수 있는가?
- RQ2얼굴 텍스처와 기하학 간의 상관관계를 어떻게 모델링할 수 있을까? 이를 통해 생성된 얼굴의 현실감을 향상시킬 수 있는가?
- RQ3매핑된 기하 데이터로 훈련된 GAN이 훈련 세트에 포함되지 않은 새로운 신원을 생성할 수 있는가?
- RQ4모델은 성능 저하 없이 부분적으로 손상된 훈련 데이터를 어느 정도 처리할 수 있는가?
- RQ5분포 유사성과 특징 현실감 측면에서 제안된 방법은 3DMM에 비해 어떻게 비교되는가?
주요 결과
- 제안된 방법은 평균 해상도에서 실재 텍스처 이미지와 생성된 텍스처 이미지 간의 슬라이스드 워샤르스타인 거리(SWD)가 17.67로 측정되었으며, 이는 PCA(99.08)보다 유의미하게 뛰어나고 실재 데이터(3.16)에 가까워졌다.
- 기하학에 대해서는 생성된 이미지와 실재 이미지 간의 SWD가 20.61이었고, PCA는 65.61, 실재 데이터는 3.15였으며, 이는 형태 합성의 뛰어난 현실감을 시사한다.
- 신원 분포 유사성 측면에서 모델는 3DMM을 능가했으며, 훈련 세트에서 SWD는 제안된 방법이 35.82, 3DMM은 59.88이었고, 테스트 세트에서는 각각 62.09와 75.3이었다.
- 캐논리컬 매핑은 고세부 영역(예: 눈, 코)에서 왜곡을 감소시키면서 덜 중요한 영역으로 왜곡을 분산시켜 세밀한 텍스처 세부 정보를 유지했다.
- 손상 마스크 기법은 사용 가능한 훈련 데이터를 약 20% 증가시켜 데이터 수집 오류에 대한 모델의 강건성을 향상시켰다.
- 정성 평가 결과, 생성된 얼굴는 다양하고 현실적이며, 텍스처와 기하학 간의 타당한 결합을 보였고, 훈련 데이터에서 반복된 신원이 없었다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.