[논문 리뷰] Inpainting Normal Maps for Lightstage data

Hancheng Zuo, Bernard Tiddeman|arXiv (Cornell University)|2023. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 1

한 줄 요약

이 논문은 라이트스테이지 데이터에서 정규 맵의 누락된 영역을 보정하기 위해 GAN 기반의 인painting 방법을 제안한다. 수정된 생성기와 코사인 손실, 마스크 인식 훈련을 통해 고해상도이고 현실적인 얼굴 영역 복원을 구현한다. 제한된 훈련 데이터와 정규 맵의 고유한 벡터 성격에도 불구하고, 복잡한 얼굴 특징에서 특히 세부 사항 정확도와 시각적 사실성 향상이 이루어진다.

ABSTRACT

This study introduces a novel method for inpainting normal maps using a generative adversarial network (GAN). Normal maps, often derived from a lightstage, are crucial in performance capture but can have obscured areas due to movement (e.g., by arms, hair, or props). Inpainting fills these missing areas with plausible data. Our approach extends previous general image inpainting techniques, employing a bow tie-like generator network and a discriminator network, with alternating training phases. The generator aims to synthesize images aligning with the ground truth and deceive the discriminator, which differentiates between real and processed images. Periodically, the discriminator undergoes retraining to enhance its ability to identify processed images. Importantly, our method adapts to the unique characteristics of normal map data, necessitating modifications to the loss function. We utilize a cosine loss instead of mean squared error loss for generator training. Limited training data availability, even with synthetic datasets, demands significant augmentation, considering the specific nature of the input data. This includes appropriate image flipping and in-plane rotations to accurately alter normal vectors. Throughout training, we monitored key metrics such as average loss, Structural Similarity Index Measure (SSIM), and Peak Signal-to-Noise Ratio (PSNR) for the generator, along with average loss and accuracy for the discriminator. Our findings suggest that the proposed model effectively generates high-quality, realistic inpainted normal maps, suitable for performance capture applications. These results establish a foundation for future research, potentially involving more advanced networks and comparisons with inpainting of source images used to create the normal maps.

연구 동기 및 목표

• 성능 촬영 중 머리카락, 팔, 장비 등에 의한 가림으로 인해 라이트스테이지에서 유도된 정규 맵에 발생하는 누락 영역 문제를 해결하기 위해.
• 정규 맵 데이터의 특수한 성격(일반적인 RGB 이미지가 아닌 방향성 벡터 필드임)을 고려해 딥 러닝 기반 이미지 인painting 기법을 적응시키기 위해.
• 변환 과정에서 벡터 기하학을 유지하기 위해 손실 함수와 데이터 증강 기법을 수정하여 인painting 품질을 향상시키기 위해.
• 재구성 정확도와 시각적 사실성 향상을 위해 생성기 입력에 마스크 채널을 통합하는 효과를 평가하기 위해.

제안 방법

• 컨텍스트 인코더와 DCGAN를 영감으로 삼은 '비둘기새 모양'의 생성기와 판별기로 구성된 GAN 프레임워크를 정규 맵 인painting에 적응시킴.
• 표준 평균 제곱 오차 손실 대신 예측된 정규 벡터가 참값 방향과 더 잘 일치하도록 코사인 손실을 도입함.
• 기하학적 인식 데이터 증강 적용: 이미지와 정규 벡터 성분에 모두 행렬 변환을 사용해 반전 및 평면 내 회전을 수행함.
• 재구성 가이드를 위해 생성기 입력에 마스크 채널을 도입함으로써 공간 일관성과 세부 사항 정확도 향상.
• 생성기와 판별기의 교차 훈련을 수행하며, 판별기의 분류 성능를 유지하기 위해 주기적으로 재훈련함.
• 안정적인 수렴과 품질 확보를 위해 SSIM, PSNR, 생성기/판별기 손실 및 정확도를 모니터링함.

실험 결과

연구 질문

• RQ1 생성기 훈련 중 마스크 채널을 통합할 경우 인paint된 정규 맵의 품질과 현실감에 어떤 영향을 미치는가?
• RQ2 예측된 정규 벡터의 방향 일致성을 유지함으로써 코사인 손실이 평균 제곱 오차보다 정규 맵 인painting에서 우월한가?
• RQ3 기하학적 인식 데이터 증강 기법이 작은 합성 정규 맵 데이터셋에서 모델의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 다양한 마스크 패턴(비정형 선, 중심 블롭, 산발적인 작은 블롭)이 모델이 복잡한 얼굴 특징을 재구성하는 데 미치는 영향은 무엇인가?
• RQ5 전반적인 성능에 기여하는 주요 요소로 아키텍처 수정(예: 확장된 레이어 구조)과 손실 함수 변경 중 어느 것이 더 중요한가?

주요 결과

• 모델은 복잡한 얼굴 특징(예: 코구멍, 입술 등)조차도 시각적으로 신뢰할 수 있고 현실적인 고품질의 인paint된 정규 맵을 생성한다.
• 훈련 중 마스크 채널을 통합함으로써 미세한 얼굴 구조에서 특히 두드러진 세부 사항 정확도 향상이 눈에 띄게 향상되며, 비록 양적 변화는 미미하지만 인지적으로는 뚜렷한 개선 효과가 있다.
• SSIM 및 PSNR 지표는 마스크 포함 시에만 약간의 향상(12.34% 향상된 SSIM)을 보였지만, 시각적 평가에서는 더 명확한 세부 사항 재구성 결과를 확인할 수 있었다.
• MSE 대신 코사인 손실을 사용함으로써 예측된 정규 벡터의 방향 일致성이 크게 향상되어 참값 벡터 필드와 더 잘 일치함.
• 다양한 마스크 패턴에 대해 안정적인 성능을 보이며, 성능 촬영에서 발생하는 다양한 가림 상황에 적응 가능함을 시사함.
• 제한된 훈련 데이터에도 불구하고 광범위한 기하학적 인식 증강과 철저한 손실 설계 덕분에 안정적인 훈련과 고품질 결과를 달성함.