[논문 리뷰] Monocular Neural Image Based Rendering with Continuous View Control

Xu Chen, Jie Song외 1명|arXiv (Cornell University)|2019. 01. 01.

Advanced Vision and Imaging참고 문헌 79인용 수 14

한 줄 요약

이 논문은 단일 입력 이미지만을 사용하여 실시간으로 연속적인 새로운 시점 합성과 정밀한 6-DoF 카메라 제어를 가능하게 하는 단일망 신경 이미지 기반 렌더링 방법을 제안한다. 기하학적 변환(예: 3D 회전, 이동, 투영)을 학습 가능한 변환 인코더-디코더에 통합하고, 깊이 기반 외관 왜곡을 사용함으로써 모델은 암묵적으로 압축되고 의미 있는 3D 기하 구조 표현을 학습하며, 학습된 시점 외의 일반화 능력과 뷰 합성 정확도에서 최신 기술 수준을 달성한다.

ABSTRACT

We present an approach that learns to synthesize high-quality, novel views of 3D objects or scenes, while providing fine-grained and precise control over the 6-DOF viewpoint. The approach is self-supervised and only requires 2D images and associated view transforms for training. Our main contribution is a network architecture that leverages a transforming auto-encoder in combination with a depth-guided warping procedure to predict geometrically accurate unseen views. Leveraging geometric constraints renders direct supervision via depth or flow maps unnecessary. If large parts of the object are occluded in the source view, a purely learning based prior is used to predict the values for dis-occluded pixels. Our network furthermore predicts a per-pixel mask, used to fuse depth-guided and pixel-based predictions. The resulting images reflect the desired 6-DOF transformation and details are preserved. We thoroughly evaluate our architecture on synthetic and real scenes and under fine-grained and fixed-view settings. Finally, we demonstrate that the approach generalizes to entirely unseen images such as product images downloaded from the internet.

연구 동기 및 목표

• 정밀한 카메라 제어(예: 1° 단위 이동) 하에 단일 단일망 이미지에서 실시간으로 연속적인 새로운 시점 합성을 가능하게 하기.
• 기존 방법들이 학습된 시점에 과적합되며 연속적인 뷰포인트 이동에서 성능이 떨어지는 한계를 극복하기.
• 명시적인 3D 지도 없이 단일 이미지에서 의미 있는 3D 기하 구조 표현을 암묵적으로 학습하기.
• 단일 물체와 자연 풍경 모두에 대해 고해상도의 기하학적으로 정확한 뷰 합성 구현하기.

제안 방법

• 유럽 공간에서 잠재 코드에 3D 회전과 이동을 명시적으로 적용하는 변환 인코더-디코더(TAE) 네트워크를 도입하여 잠재 공간 내 기하학적 일致성 강화.
• 변환된 잠재 코드에서 목표 뷰의 깊이 맵을 생성하기 위해 가분성 깊이 예측 헤드 사용.
• 예측된 깊이를 기반으로 소스 뷰와 타겟 뷰 간의 조밀한 픽셀 대응 관계를 계산하기 위해 투영을 적용.
• 예측된 플로우 맵을 사용해 가분성 있는 이미지 왜곡을 수행하여 최종 출력 이미지 합성.
• 최종 이미지를 개선하기 위해 깊이 기반 외관 매핑을 적용하여 기하학적 정확도와 세부 사항 보존 향상.
• 이미지 쌍과 그에 해당하는 카메라 변환 정보만을 지도로 사용하여 전체 파이프라인을 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 신경망은 명시적인 3D 지도 없이 단일 단일망 이미지에서 압축되고 의미 있는 3D 기하 구조 표현을 암묵적으로 학습할 수 있는가?
• RQ2 잠재 공간에 명시적인 3D 기하학적 변환(회전, 이동, 투영)을 통합함으로써 학습되지 않은 새로운 뷰포인트로의 일반화 능력이 향상되는가?
• RQ3 깊이 기반 왜곡이 연속적인 6-DoF 카메라 제어 하에서 합성된 뷰의 품질과 기하학적 정확도를 크게 향상시키는가?
• RQ4 시각 합성 품질, 뷰포인트 제어 정밀도, 연속 운동에 대한 강건성 측면에서 제안된 방법은 최신 기술 수준의 베이스라인과 어떻게 비교되는가?

주요 결과

• KITTI 데이터셋에서 제안된 방법은 베이스라인 대비 상당히 낮은 카메라 자세 추정 오차(회전 L1: 0.108, 이동 L1: 0.019)를 기록하여 더 뛰어난 뷰포인트 제어 정확도를 입증한다.
• 재학습 없이도 고해상도 이미지(1024²)에 잘 일반화되며, Titan X GPU에서 1 프레임당 50ms의 인퍼런스 시간을 달성한다.
• 깊이 기반 왜곡과 TAE 구성 요소 각각이 플로우 및 깊이 예측 정확도 향상에 기여하며, 전체 모델은 ShapeNet 차량 데이터셋에서 85.7%의 플로우 정확도와 91.1%의 깊이 정확도를 달성한다.
• 잠재 공간 내 보간과 회전 실험을 통해 학습된 표현이 의미적으로 유의미하고 기하학적으로 일관되며, 형태 전이가 부드럽고 뷰포인트 변화가 고립되어 있음을 확인한다.
• 시각 온도메트리 실험 결과, 제안된 방법을 사용해 합성된 뷰에서 추정한 궤적은 진짜 궤적과 매우 유사한 반면, 베이스라인은 왜곡되거나 잘못된 운동을 생성한다.
• 공개 데이터셋에서 이전 최신 기술 수준의 접근법보다 우수한 성능을 보이며, 특히 연속적인 뷰 합성과 예상치 못한 뷰포인트로의 일반화 능력에서 뛰어난 성능을 발휘한다.