[논문 리뷰] Deep 3D-Zoom Net: Unsupervised Learning of Photo-Realistic 3D-Zoom

Juan Luis Gonzalez Bello, Munchurl Kim|arXiv (Cornell University)|2019. 09. 20.

Advanced Vision and Imaging참고 문헌 22인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 심도 추정 네트워크에서의 전이 학습, 백재투영 복원 손실, 그리고 적대적 판별자 등을 활용하여 단일 입력 이미지로부터 사진 수준의 3D-줌 이미지를 생성하는 비지도 학습 딥 러닝 프레임워크인 Deep 3D-Zoom Net을 제안한다. 이 방법은 3D-줌 참값이 필요 없이 KITTI 및 Cityscapes 데이터셋에서 자연 이미지 품질과 잡음 감소 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The 3D-zoom operation is the positive translation of the camera in the Z-axis, perpendicular to the image plane. In contrast, the optical zoom changes the focal length and the digital zoom is used to enlarge a certain region of an image to the original image size. In this paper, we are the first to formulate an unsupervised 3D-zoom learning problem where images with an arbitrary zoom factor can be generated from a given single image. An unsupervised framework is convenient, as it is a challenging task to obtain a 3D-zoom dataset of natural scenes due to the need for special equipment to ensure camera movement is restricted to the Z-axis. In addition, the objects in the scenes should not move when being captured, which hinders the construction of a large dataset of outdoor scenes. We present a novel unsupervised framework to learn how to generate arbitrarily 3D-zoomed versions of a single image, not requiring a 3D-zoom ground truth, called the Deep 3D-Zoom Net. The Deep 3D-Zoom Net incorporates the following features: (i) transfer learning from a pre-trained disparity estimation network via a back re-projection reconstruction loss; (ii) a fully convolutional network architecture that models depth-image-based rendering (DIBR), taking into account high-frequency details without the need for estimating the intermediate disparity; and (iii) incorporating a discriminator network that acts as a no-reference penalty for unnaturally rendered areas. Even though there is no baseline to fairly compare our results, our method outperforms previous novel view synthesis research in terms of realistic appearance on large camera baselines. We performed extensive experiments to verify the effectiveness of our method on the KITTI and Cityscapes datasets.

연구 동기 및 목표

• Z축 방향으로만 카메라 운동이 제한되고 움직이는 물체가 있는 실세계 3D-줌 데이터셋이 부족한 문제를 해결하기 위해.
• 3D-줌 참값이 비용이 많이 들기 때문에 이를 의존하지 않고도 3D-줌 생성 문제를 비지도 학습 과제로 설정하고 해결하기 위해.
• 명시적인 심도 추정 없이 심도와 외관을 모델링하여 현실적인 3D-줌 이미지를 합성하는 새로운 프레임워크를 개발하기 위해.
• 적대적 훈련과 인지 손실을 통해 가짜 영역, 가시성 없는 영역, 블러링 등의 잡음 감소를 개선하고 이미지의 현실감을 향상시키기 위해.
• 빠른 추론과 새로운 실외 환경으로의 일반화를 가능하게 하여 KITTI 및 Cityscapes 데이터셋에서 검증하기 위해.

제안 방법

• 정확한 심도 참값이 필요 없이 사전에 훈련된 심도 추정 네트워크에서 전이 학습을 활용하여 심도 인식 특징을 초기화한다.
• 다른 카메라 자세 하에서 합성 이미지와 입력 이미지 간의 일致성을 강제하는 새로운 백재투영 복원 손실을 도입한다.
• 중간 단계의 심도 추정을 피하기 위해 입력 이미지에서 직접 심도 기반 렌더링(DIBR)을 수행하는 완전 컨volution 네트워크 아키텍처를 사용한다.
• 적대적 판별자를 도입하여 생성된 이미지의 부자연스럽거나 왜곡된 영역을 페널티 처리하는 비참조 품질 측정 기능을 수행한다.
• 사전에 훈련된 VGG 네트워크의 특징을 기반으로 한 인지 손실을 적용하여 고주파 세부 정보와 질감의 정확성을 유지한다.
• 오차가 더 심각한 고해상도 줌 팩터에서의 훈련을 우선시하기 위해 평균 μ=3, 표준편차 σ=1인 왼쪽으로 접힌 정규분포를 활용한 줌 팩터 샘플링 전략을 사용한다.

실험 결과

연구 질문

• RQ1 3D-줌 이미지 생성이 3D-줌 참값이 없이도 비지도 방식으로 효과적으로 학습될 수 있는가?
• RQ2 단일 이미지 3D-줌 모델이 사전에 훈련된 심도 네트워크를 어떻게 활용하여 암묵적으로 3차원 기하학을 추론할 수 있는가?
• RQ3 백재투영 복원 손실이 기하학적 일致성과 외관의 현실감을 얼마나 향상시키는가?
• RQ4 적대적 훈련이 3D-줌 이미지에서 가시성 없는 영역과 블러링 등의 잡음을 얼마나 효과적으로 감소시키는가?
• RQ5 제안된 방법이 훈련 분포를 초월한 다양한 실외 환경, 예를 들어 Cityscapes 데이터셋에서의 새로운 환경으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 3D-줌 벤치마크가 존재하지 않아 직접 비교 기준이 없음에도 불구하고 KITTI 및 Cityscapes 데이터셋에서 사진 수준의 현실감에서 최신 기술 수준의 성능을 달성한다.
• 적대적 손실을 포함시킴으로써 평균 NIQE 점수는 2.99에서 2.86으로 감소하여 인지적 이미지 품질 향상이 명확하게 입증되었다.
• 인지 손실이 품질 향상에 가장 기여하며, 특히 간판과 차량 로고와 같은 질감이 뚜렷한 영역에서 두드러진다.
• 모델은 줌 팩터 최대 3.0까지 고품질의 3D-줌 이미지를 생성할 수 있으며, Titan Xp GPU에서 추론 시간은 단 0.01초이다.
• Cityscapes 데이터셋의 새로운 환경으로도 잘 일반화되어 있으며, 전방 왜곡과 디지털 줌이 블러링과 균일한 스케일링으로 실패하는 상황에서도 현실적인 결과를 생성한다.
• 제거 실험을 통해 모든 구성 요소—개선 모듈, 인지 손실, 적대적 손실—이 이미지 품질 향상에 기여하는 것으로 확인되었으며, 특히 가시성 없는 영역을 억제하는 데 적대적 손실이 매우 효과적임을 입증했다.