[논문 리뷰] 3D Appearance Super-Resolution with Deep Learning

Yawei Li, Vagia Tsiminaki외 3명|arXiv (Cornell University)|2019. 06. 03.

Advanced Image Processing Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 3DASR 데이터셋과 3D 외관 초해상도를 위한 딥러닝 기반 프레임워크를 소개한다. 이 프레임워크는 정규 맵을 통해 3D 기하학적 사전 지식을 2D 초해상도 네트워크에 통합함으로써 성능을 향상시킨다. 모델 기반 방법과 유사한 성능을 달성하면서도 빠른 피드포워드 추론이 가능하여, 실제 및 합성 데이터를 활용한 다중 시점 3D 텍스처 초해상도에 딥러닝을 처음으로 통합한 것이다.

ABSTRACT

We tackle the problem of retrieving high-resolution (HR) texture maps of objects that are captured from multiple view points. In the multi-view case, model-based super-resolution (SR) methods have been recently proved to recover high quality texture maps. On the other hand, the advent of deep learning-based methods has already a significant impact on the problem of video and image SR. Yet, a deep learning-based approach to super-resolve the appearance of 3D objects is still missing. The main limitation of exploiting the power of deep learning techniques in the multi-view case is the lack of data. We introduce a 3D appearance SR (3DASR) dataset based on the existing ETH3D [42], SyB3R [31], MiddleBury, and our Collection of 3D scenes from TUM [21], Fountain [51] and Relief [53]. We provide the high- and low-resolution texture maps, the 3D geometric model, images and projection matrices. We exploit the power of 2D learning-based SR methods and design networks suitable for the 3D multi-view case. We incorporate the geometric information by introducing normal maps and further improve the learning process. Experimental results demonstrate that our proposed networks successfully incorporate the 3D geometric information and super-resolve the texture maps.

연구 동기 및 목표

• 딥러닝 기반 2D 초해상도와 3D 다중 시점 외관 복원 간 격차를 해소하기 위해 2D 방법을 3D 텍스처 도메인에 적응시키는 것.
• 학습 및 평가를 위한 쌍방향 고해상도 및 저해상도 맵을 갖춘 대규모이고 다양한 3D 텍스처 데이터셋의 부족을 해결하는 것.
• 특히 정규 맵을 통해 3D 기하학적 정보를 2D 딥러닝 네트워크에 통합하여 텍스처 초해상도 품질을 향상시키는 것.
• 딥러닝 기반 3D 외관 초해상도가 계산 비용이 큰 모델 기반 방법과 유사한 성능을 달성하면서도 빠른 피드포워드 추론이 가능하다는 것을 입증하는 것.
• 데이터 기반, 확장 가능하고 효율적인 3D 오브제트 외관 초해상도를 가능하게 하여 3D 콘텐츠 제작의 새로운 연구 방향을 여는 것.

제안 방법

• 저자들은 ETH3D, SyB3R, MiddleBury, TUM, Fountain, Relief의 실제 및 합성 3D 시점들을 조합하여 3DASR 데이터셋을 구축하였으며, 고해상도(HR) 및 저해상도(LR) 텍스처 맵, 3D 메쉬, 이미지, 투영 행렬, 정규 맵을 제공한다.
• 이미지 형성 과정을 3D 기하학에서 텍스처 맵으로의 매핑과 텍스처에서 이미지로의 투영의 조합으로 모델링하여, 동일한 기반 고해상도 텍스처 맵에서 일관된 LR 및 HR 텍스처 쌍을 생성할 수 있도록 한다.
• 제안된 프레임워크는 2D 딥러닝 초해상도 네트워크(예: EDSR)를 정규 맵을 추가 입력 채널로 통합하여 국소적인 3D 표면 기하학을 인코딩함으로써 3D 텍스처 도메인에 적응시킨다.
• 사전 학습된 2D 모델을 텍스처 도메인에 맞게 적응시키기 위한 정밀 캘리브레이션 전략(EDSR-FT)을 포함하여, 표준 보간법 및 기본선 네트워크보다 성능을 향상시킨다.
• 기하학적 사전 지식과 데이터 정밀도의 영향을 분석하기 위해 EDSR-FT, NLR(저해상도 정규 맵), NHR(고해상도 정규 맵) 등의 다양한 변형을 평가한다.
• 학습 및 평가 파이프라인은 부분 집합에 대한 교차 검증과 전체 데이터셋 학습을 통해 데이터 크기와 부분 집합 특성의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 특정 도메인 데이터가 부족한 상황에서 딥러닝 기반 초해상도 방법이 3D 다중 시점 외관 초해상도 작업에 효과적으로 적용될 수 있는가?
• RQ2 정규 맵을 통한 3D 기하학적 정보 통합이 표준 2D SR 방법에 비해 초해상도 텍스처 맵의 품질을 얼마나 향상시키는가?
• RQ3 학습 데이터 크기와 부분 집합 고유의 특성 중 어느 것이 다양한 3D 시점에서의 모델 일반화에 더 큰 영향을 미치는가?
• RQ4 제안된 딥러닝 기반 접근법의 성능이 PSNR 및 추론 속도 측면에서 기존의 모델 기반 초해상도 방법과 비교해 어떻게 되는가?
• RQ5 저해상도 정규 맵에 비해 고해상도 정규 맵이 재구성 품질 향상에 더 큰 영향을 미치는가?

주요 결과

• 제안된 딥러닝 기반 3DASR 프레임워크는 피드포워드 네트워크임에도 불구하고, HRST와 같은 모델 기반 방법과 유사한 PSNR 성능을 달성한다. 특히 MiddleBury 및 Collection 데이터셋에서 유사한 성능을 보였다.
• 정규 맵을 통합하면 재구성 품질이 크게 향상된다: 고해상도 정규 맵(NHR)이 저해상도 정규 맵(NLR)보다 우수한 성능을 보이며, 기하학적 세부 정보가 텍스처 복구에 기여함을 입증한다.
• 학습 데이터 크기가 부분 집합 고유의 특성보다 더 중요한 요소이다: NLR(전체 데이터셋)는 NLR-Sub(교차 검증 부분 집합)보다 성능이 뛰어나며, ETH3D와 같이 큰 데이터셋에서 특히 두드러진다.
• EDSR 모델을 텍스처 도메인에 맞게 정밀 캘리브레이션(EDSR-FT)하면 사전 학습된 모델보다 더 좋은 결과를 얻는다. 이는 텍스처 특화 성능 향상을 위해 도메인 적응이 필수적임을 시사한다.
• ETH3D에서 모델 기반 HRST 방법이 딥러닝 접근법을 약간 앞서지만, PSNR 격차는 작아서 딥러닝 방법이 경쟁 가능하다는 것을 시사한다.
• 시각적 결과는 제안된 방법이 더 섬세한 텍스처 세부 정보를 복구하고, 이중선형 보간법 및 표준 EDSR에서 관찰되는 흐림과 흰 텍셀 아티팩트를 피하는 것으로 확인되었다.