[논문 리뷰] Geometry-aware Deep Network for Single-Image Novel View Synthesis

Miaomiao Liu, Xuming He외 1명|arXiv (Cornell University)|2018. 04. 17.

Advanced Vision and Imaging참고 문헌 23인용 수 14

한 줄 요약

이 논문은 고정된 수의 평면을 사용하여 장면을 모델링하고, 입력 이미지를 왜곡하기 위해 호모그래피와 영역 마스크를 예측하며, 학습된 선택 맵을 통해 왜곡된 시야를 조합하는 기하구조 인식 딥 네트워크를 제안한다. 이 방법은 3D 기하학적 일致성을 명시적으로 강제하여 KITTI 및 ScanNet 데이터셋에서 더 현실적이고 구조적으로 정확한 새로운 시야를 생성함으로써 최신의 외관 기반 접근법을 능가한다.

ABSTRACT

This paper tackles the problem of novel view synthesis from a single image. In particular, we target real-world scenes with rich geometric structure, a challenging task due to the large appearance variations of such scenes and the lack of simple 3D models to represent them. Modern, learning-based approaches mostly focus on appearance to synthesize novel views and thus tend to generate predictions that are inconsistent with the underlying scene structure. By contrast, in this paper, we propose to exploit the 3D geometry of the scene to synthesize a novel view. Specifically, we approximate a real-world scene by a fixed number of planes, and learn to predict a set of homographies and their corresponding region masks to transform the input image into a novel view. To this end, we develop a new region-aware geometric transform network that performs these multiple tasks in a common framework. Our results on the outdoor KITTI and the indoor ScanNet datasets demonstrate the effectiveness of our network in generating high quality synthetic views that respect the scene geometry, thus outperforming the state-of-the-art methods.

연구 동기 및 목표

• 복잡한 실제 세계 장면에서 풍부한 기하학적 구조를 가진 환경에서 단일 이미지로부터 새로운 시야 합성을 해결하기 위한 것이다.
• 기하학적으로 일致하지 않는 아티팩트를 생성하는 외관 전용 학습 방법의 한계를 극복하기 위한 것이다.
• 고정된 수의 평면 영역을 사용하여 3D 장면 기하학을 명시적으로 모델링하여 시야 합성 품질을 향상시키기 위한 것이다.
• 호모그래피, 영역 마스크를 동시에 예측하고, 학습된 선택 맵을 사용하여 왜곡된 시야를 융합하는 통합된 딥 러닝 프레임워크를 개발하기 위한 것이다.

제안 방법

• 예측된 깊이 및 노멀 맵과 상대 카메라 자세를 기반으로 각 평면 영역에 연결된 호모그래피를 유도하여 3D 장면을 고정된 수의 평면 영역으로 근사한다.
• 이중 스트림 딥 네트워크를 사용한다: 한 분기에서는 입력 이미지에서 픽셀 단위의 깊이와 노멀을 추정하고, 다른 분기에서는 각 평면 영역에 대한 선택 맵을 예측한다.
• 예측된 호모그래피를 사용하여 입력 이미지에 기반한 왜곡을 적용하여 각 평면 영역에 대한 다수의 후보 왜곡된 시야를 생성한다.
• 예측된 선택 맵을 사용하여 왜곡된 시야를 융합하며, 이 선택 맵 또한 동일한 호모그래피를 통해 왜곡되어 공간 일致성을 확보한다.
• 스킵 연결을 갖는 인코더-디코더 네트워크를 사용하여 최종 합성된 시야를 보정하여 블러링 및 누락된 픽셀을 수정한다.
• 기하학적 제약 조건을 플로우 예측 과정에 통합하는 영역 인식 기하변환 네트워크를 활용하여 구조적 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 3D 장면 기하학을 명시적으로 모델링하면 단일 이미지에서 합성된 새로운 시야의 현실성과 구조적 일치성이 향상되는가?
• RQ2 종합적인 외관 플로우 대비 영역별로 특화된 호모그래피와 선택 맵을 학습하는 방식이 기하학적 정확성 측면에서 어떻게 비교되는가?
• RQ3 예측된 깊이 및 노멀 맵의 품질이 기하학적 인식 합성 프레임워크의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 고정된 분할 또는 하드 세그먼테이션 대비 학습 가능한 선택 맵 메커니즘이 다수의 왜곡된 시야 융합에 있어 어떻게 개선되는가?
• RQ5 기하학적 사전 지식을 통합함으로써 왜곡된 국소 구조나 일치하지 않는 물체 형태 등의 아티팩트가 감소하는가?

주요 결과

• 제안된 방법은 KITTI 및 ScanNet 데이터셋에서 [29]의 최신 외관 플로우 방법을 능가하며, 더 뛰어난 기하학적 일치성과 시각적 품질을 입증한다.
• KITTI에서 예측된 깊이 및 노멀을 사용하고 학습된 선택 맵을 적용할 경우 L1 오차가 0.329로, 참값 깊이 및 노멀을 사용하고 학습된 선택 맵을 사용하지 않을 경우 0.357보다 낮게 나타났다.
• 정성적 결과에서는 물체 형태와 장면 구조(예: 건물 외벽, 나무 영역 등)를 더 잘 유지하여 더 현실적인 시야를 생성하는 것으로 나타났다.
• 정밀한 보정 네트워크의 경우 정량적 정확도는 약간 저하되지만 시각적 현실감은 향상되어, 메트릭 정확도와 인지적 품질 사이의 상충 관계를 보여준다.
• 절단 실험 결과 학습된 선택 맵이 핵심임을 확인했다. 참값 깊이 및 노멀을 사용하고 학습된 맵을 적용할 경우 최고의 성능를 기록하여 적응형 융합의 중요성을 입증한다.
• 선택 네트워크는 시각화 결과에서 시드 영역을 더 큰 의미적으로 일관된 평면 영역(예: 전체 나무, 건물 외벽 등)으로 성공적으로 확장하는 데 기여했다.