[논문 리뷰] Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image

Ronghang Hu, Nikhila Ravi외 2명|arXiv (Cornell University)|2020. 12. 17.

Advanced Vision and Imaging참고 문헌 52인용 수 8

한 줄 요약

Worldsheet는 깊이 감독을 통해 예측된 시점 기하 구조에 유연한 3D 메시 시트를 밀착시키는 방식으로, 단일 RGB 이미지에서 카테고리에 관계없이 종단 간 기계학습 가능한 방법을 제안한다. 이 방법은 기하 구조와 텍스처를 동시에 학습하기 위해 기하학적 정규화와 함께 기하학적 정규화를 사용하며, 2D 이미지 재구성 손실만을 사용해 훈련한다. 이로 인해 Matterport, Replica, RealEstate10K 데이터셋에서 고해상도 실외 이미지와 큰 시점 변화 조건에서도 최신 기술 수준을 초월하는 성능을 달성한다.

ABSTRACT

We present Worldsheet, a method for novel view synthesis using just a single RGB image as input. The main insight is that simply shrink-wrapping a planar mesh sheet onto the input image, consistent with the learned intermediate depth, captures underlying geometry sufficient to generate photorealistic unseen views with large viewpoint changes. To operationalize this, we propose a novel differentiable texture sampler that allows our wrapped mesh sheet to be textured and rendered differentiably into an image from a target viewpoint. Our approach is category-agnostic, end-to-end trainable without using any 3D supervision, and requires a single image at test time. We also explore a simple extension by stacking multiple layers of Worldsheets to better handle occlusions. Worldsheet consistently outperforms prior state-of-the-art methods on single-image view synthesis across several datasets. Furthermore, this simple idea captures novel views surprisingly well on a wide range of high-resolution in-the-wild images, converting them into navigable 3D pop-ups. Video results and code are available at https://worldsheet.github.io.

연구 동기 및 목표

• 테스트 시 3D 감독이나 다중 시점이 필요 없이 단일 RGB 이미지에서 새로운 시점 합성을 가능하게 하는 것.
• 다중 시점 감독을 통해 3D 기하 구조와 텍스처를 동시에 학습할 수 있는 카테고리에 관계없고 종단 간 학습 가능한 방법을 개발하는 것.
• 변형 가능한 메시 시트를 희박하고 기하학적으로 기하학적 정규화 가능한 3D 표현으로 사용하여 시점 재구성 및 합성을 탐색하는 것.
• 복잡한 시점, 음영, 큰 시점 변화를 다루는 데에 메시 워핑의 효과성을 평가하는 것.
• 메시 해상도와 다층 메시 시트의 영향이 시점 합성 품질에 미치는 영향을 조사하는 것.

제안 방법

• 이 방법은 예측된 깊이와 2D 그리드 오프셋을 사용하여 평면 메시 그리드를 시점에 맞게 변형시켜 3D 메시 표현을 구성한다.
• 새로운 기하학적 정규화 샘플러는 입력 이미지를 3D 메시 기하 구조에 투영하여 텍스처 매핑 과정에서 기하학적 정규화를 계산할 수 있도록 한다.
• 기하학적 정규화 렌더러를 사용하여 새로운 시점에서 메시를 렌더링하며, 훈련은 오직 2D 이미지 재구성 손실로만 감독된다.
• 메시 라플라시안 손실을 통한 기하학적 정규화는 변형을 안정화시키고 최적화 중 비현실적인 메시 왜곡을 방지한다.
• 다층 확장은 별도의 메시 시트를 쌓아 깊이 불연속성과 음영 처리를 향상시킨다.
• 모델은 시나리오당 두 개의 시점만을 사용하여 종단 간 학습되며, 테스트 시에는 명시적인 3D 감독이나 진짜 깊이 정보가 필요 없다.

Figure 2: An overview of our Worldsheet approach. Given an input view $I_{in}$ , we build a scene mesh by warping a $W_{m}\times H_{m}$ grid sheet onto the scene geometry via grid offset $(\Delta\hat{x},\Delta\hat{y})$ and depth $z$ (Sec. 3.1 ). Then, we sample the UV texture map $\hat{T}$ of the sc

실험 결과

연구 질문

• RQ1 단일 변형 가능한 3D 메시 시트가 단일 입력 이미지에서 시점 기하 구조를 효과적으로 재구성하고 새로운 시점을 합성하는 데에 효과적인가?
• RQ2 기하학적 정규화 텍스처 샘플링과 렌더링은 3D 감독 없이 종단 간 학습을 가능하게 하는가?
• RQ3 메시 워핑은 외부 시점, 실내 환경, 예술적 그림과 같은 다양한 시점 카테고리로 일반화되는가?
• RQ4 다층 메시 시트는 큰 시점 변화에서 음영 모델링과 파라락소 효과를 향상시키는가?
• RQ5 메시 해상도와 기하학적 정규화는 합성된 시점의 품질에 어떤 영향을 미치는가?

주요 결과

• Worldsheet는 Matterport3D, Replica, RealEstate10K 데이터셋에서 최신 기술 수준을 초월하는 성능을 달성했으며, PSNR 및 LPIPS 지표에서 이전 방법보다 뚜렷한 격차를 보였다.
• RealEstate10K에서 메시 해상도가 65×65일 경우 PSNR가 26.74를 기록했으며, SynSin 및 기타 최신 기술 기반 방법보다 뛰어난 성능을 보였다.
• 모델은 960×960 해상도의 실외 이미지에서 조건이 복잡한 큰 시점 변화 조건에서도 고품질의 사실적인 새로운 시점을 생성할 수 있었다.
• 절단 실험 결과, 메시 라플라시안 정규화가 안정적인 변형을 위해 필수적임을 확인했으며, 정규화가 너무 강할 경우 성능 저하가 발생했다.
• 높은 메시 해상도(예: 65×65)는 세부 사항의 포착과 성능 향상에 기여했지만, 고해상도에서는 그리드 오프셋 구성 요소의 영향은 덜 중요했다.
• 다층 Worldsheets는 음영과 파라락소 효과의 정성적 처리를 향상시켰지만, 표준 지표에서의 정량적 성과 향상은 미미했다.

Figure 3: Parts of the target view (the grey area in b) are often invisible from the input and must be imagined based on prior knowledge. We make plausible predictions over the invisible regions with an inpainting network (c). However, this task is inherently uncertain ( e.g . one cannot be sure abo