[논문 리뷰] NVS Machines: Learning Novel View Synthesis with Fine-grained View Control.

Xu Chen, Jie Song외 1명|arXiv (Cornell University)|2019. 01. 07.

Advanced Vision and Imaging인용 수 2

한 줄 요약

이 논문은 고해상도 3D 객체 또는 환경의 정밀한 6-DOF 시점 제어를 가능하게 하는 자기지도 학습 신경망인 NVS 머신을 제안한다. 변환 오토인코더와 깊이 유도 워핑, 픽셀 단위의 융합 마스크를 결합함으로써, 깊이 또는 유속 지도의 직접적 지도 없이도 기하학적 정확도를 달성하며, 실제 세계의 새로운 이미지에 효과적으로 일반화된다.

ABSTRACT

We present an approach that learns to synthesize high-quality, novel views of 3D objects or scenes, while providing fine-grained and precise control over the 6-DOF viewpoint. The approach is self-supervised and only requires 2D images and associated view transforms for training. Our main contribution is a network architecture that leverages a transforming auto-encoder in combination with a depth-guided warping procedure to predict geometrically accurate unseen views. Leveraging geometric constraints renders direct supervision via depth or flow maps unnecessary. If large parts of the object are occluded in the source view, a purely learning based prior is used to predict the values for dis-occluded pixels. Our network furthermore predicts a per-pixel mask, used to fuse depth-guided and pixel-based predictions. The resulting images reflect the desired 6-DOF transformation and details are preserved. We thoroughly evaluate our architecture on synthetic and real scenes and under fine-grained and fixed-view settings. Finally, we demonstrate that the approach generalizes to entirely unseen images such as product images downloaded from the internet.

연구 동기 및 목표

• 3D 객체 및 환경에서 정밀한 6-DOF 제어를 갖춘 신규 시점 합성을 가능하게 하기 위해.
• 기하학적 제약 조건을 활용하여 깊이 또는 유속 지도의 직접적 지도가 필요 없도록 하기 위해.
• 원본 시점에서 일부 부분이 가려진 경우에 가려진 영역을 정확히 재구성하기 위해.
• 인터넷에서의 제품 이미지와 같은 새로운 실제 세계 이미지로 일반화하기 위해.
• 오직 2D 이미지와 해당 시점 변환 정보만을 사용하여 고해상도 시점 합성을 달성하기 위해.

제안 방법

• 입력 이미지에서 6-DOF 시점 변환을 모델링하기 위해 변환 오토인코더를 사용한다.
• 예측된 깊이와 카메라 변환 정보를 기반으로 기하학적으로 정확한 새로운 시점을 예측하기 위해 깊이 유도 워핑 절차를 사용한다.
• 가려진 영역에 대해 깊이 유도 워핑과 학습 기반 사전 지식의 예측을 융합하기 위해 픽셀 단위의 마스크를 예측한다.
• 지상 진실 깊이 또는 유속 정보가 필요 없이 오직 2D 이미지와 관련된 시점 변환 정보만을 사용하여 자기지도 학습 방식으로 네트워크를 훈련시킨다.
• 합성된 시점의 일관성과 정확도를 확보하기 위해 기하학적 제약 조건을 적용한다.
• 명시적인 기하학적 추론과 암묵적인 생성 사전 지식을 결합하여 가림 영역을 처리하고 세부 사항을 유지한다.

실험 결과

연구 질문

• RQ1 오직 2D 이미지와 시점 변환 정보만을 사용하여 자기지도 학습 네트워크가 정밀한 6-DOF 제어를 갖춘 고해상도 신규 시점 합성을 달성할 수 있는가?
• RQ2 깊이 또는 유속 지도의 직접적 지도 없이 기하학적 제약 조건만으로 시점 합성 성능이 얼마나 잘 유지되는가?
• RQ3 모델이 인터넷에서의 제품 사진과 같은 새로운 실제 세계 이미지로 얼마나 잘 일반화되는가?
• RQ4 깊이 유도 예측과 학습 기반 예측의 융합이 가려진 영역을 얼마나 효과적으로 처리하는가?
• RQ5 픽셀 단위의 마스크가 시각적 품질과 기하학적 정확도 향상에 미치는 영향은 어떠한가?

주요 결과

• 모델은 지상 진실 깊이 또는 유속 지도 없이도 합성 및 실제 환경에서 고해상도 신규 시점 합성을 달성한다.
• 기하학적 제약 조건의 활용으로 깊이 지도가 제공되지 않더라도 정확한 시점 합성을 가능하게 한다.
• 픽셀 단위의 마스크는 깊이 유도 예측과 학습 기반 예측을 효과적으로 융합하여 가려진 영역의 재구성 품질을 향상시킨다.
• 인터넷에서의 제품 이미지와 같은 새로운 실제 세계 이미지로도 잘 일반화된다.
• 다양한 6-DOF 시점에서 세부 사항을 유지하고 기하학적 일관성을 보존한다.
• 자기지도 학습 훈련 프레임워크는 오직 이미지와 변환 데이터만을 사용하여도 강력한 성능을 발휘한다.