[논문 리뷰] IBRNet: Learning Multi-View Image-Based Rendering

Qianqian Wang, Zhicheng Wang외 7명|arXiv (Cornell University)|2021. 02. 25.

Advanced Vision and Imaging참고 문헌 60인용 수 27

한 줄 요약

IBRNet은 여러 인접 소스 뷰를 이용해 고해상도 새로운 뷰를 장면별 최적화 없이 렌더링하는 일반적인 뷰 보간 함수를 학습하며, 단일 장면 신경 렌더링 방식과 일치하도록 장면별로 미세 조정할 수 있다.

ABSTRACT

We present a method that synthesizes novel views of complex scenes by interpolating a sparse set of nearby views. The core of our method is a network architecture that includes a multilayer perceptron and a ray transformer that estimates radiance and volume density at continuous 5D locations (3D spatial locations and 2D viewing directions), drawing appearance information on the fly from multiple source views. By drawing on source views at render time, our method hearkens back to classic work on image-based rendering (IBR), and allows us to render high-resolution imagery. Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multi-view posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods. Project page: https://ibrnet.github.io/

연구 동기 및 목표

• 근접한 근처 뷰의 희소한 집합에서의 새로운 뷰 합성에 대한 장면 특화 최적화 없이 가능성 제시.
• 여러 뷰로부터 연속적인 5D 위치에서 색상과 밀도를 예측하는 경량의 일반화 가능한 네트워크(IBRNet)를 개발한다.
• 레이를 따라 장거리 컨텍스트를 레이 트랜스포머를 통해 도입하여 밀도 추정과 렌더링 정확도를 향상시킨다.
• 고전적인 체적 렌더링을 이용한 감독으로 다중 뷰 포즈 이미지와 함께 엔드투엔드 학습을 가능하게 한다.
• 사전학습된 IBRNet이 보지 못한 장면으로 일반화되고, 장면별로 미세 조정되어 단일 장면 신경 렌더링 성능에 근접하도록 할 수 있음을 입증한다.

제안 방법

• 근접 소스 뷰의 작은 작동 집합을 선택하고 각 이미지에서 조밀한 특징을 추출하는 모듈형 파이프라인을 사용한다.
• 레이를 따라 각 3D 점에 대해 다중 뷰 특징을 집계하고, aPointNet 유사 풀링으로 밀도 특징을 계산하며, 레이 트랜스포머로 밀도를 예측한다.
• 시점 방향 인지를 가진 블렌딩 가중치를 통해 소스 뷰 색상을 혼합하여 샘플별 색상을 얻고, 이후 체적 렌더링으로 렌더링한다.
• IBRNet은 연속적인 5D 위치(3D 위치, 2D 시점 방향)에서 작동하며 미분 가능하여 다중 뷰 감독하에 엔드투엔드 학습이 가능하다.
• NeRF에 비해 거칠고 미세한 계층적 샘플링을 사용하여 고퀄리티의 새로운 뷰를 렌더링한다.

Figure 1: System Overview . 1) To render a novel target view (shown here as the image labeled with a ‘?’), we first identify a set of neighboring source views (e.g., the views labeled A and B ) and extract their image features. 2) Then, for each ray in the target view, we compute colors and densitie

실험 결과

연구 질문

• RQ1 일반적이고 장면 비의존적인 뷰 보간 함수가 희소한 소스 뷰로부터 고품질의 새로운 뷰를 합성할 수 있는가?
• RQ2 레이를 따라 컨텍스트를 전달하는 레이 트랜스포머를 도입하는 것이 밀도 추정과 렌더링 품질을 개선하는가?
• RQ3 사전 학습된 모델의 장면별 미세 조정이 NeRF 같은 단일 장면 신경 렌더링 방법에 비해 성능에 어떤 영향을 미치는가?

주요 결과

방법	확산 합성 360° PSNR	확산 합성 360° SSIM	확산 합성 360° LPIPS	현실적 합성 360° PSNR	현실적 합성 360° SSIM	현실적 합성 360° LPIPS	실제 전방향 PSNR	실제 전방향 SSIM	실제 전방향 LPIPS
LLFF No per-scene optimization	34.38	0.985	0.048	24.88	0.911	0.114	24.13	0.798	0.212
Ours (no ft)	37.17	0.990	0.017	25.49	0.916	0.100	25.13	0.817	0.205
SRN Per-scene optimization	33.20	0.963	0.073	22.26	0.846	0.170	22.84	0.668	0.378
NV	29.62	0.929	0.099	26.05	0.893	0.160	-	-	-
NeRF	40.15	0.991	0.023	31.01	0.947	0.081	26.50	0.811	0.250
Ours_ft	42.93	0.997	0.009	28.14	0.942	0.072	26.73	0.851	0.175

• 사전 학습된 IBRNet이 보지 못한 장면에 일반화되며 모든 평가 데이터셋에서 LLFF를 능가한다.
• 장면별 미세 조정을 통해 여러 데이터셋에서 NeRF와 경쟁력 있는 성능을 달성하며, 특히 Real Forward-Facing 데이터에서 두드러진다.
• 절차 분석은 레이 트랜스포머의 필요성과 시점 방향 입력이 품질 개선에 기여하지만 단독으로 큰 요인은 아님을 보여준다.
• 일회성 일반화 설정에서 여러 기준 방법들보다 더 높은 PSNR/SSIM, 더 낮은 LPIPS를 달성한다.
• 추론 효율은 소스 뷰 수에 비례하여 확장되며, 로컬 뷰 기반 보간 덕분에 픽셀당 NeRF 대비 훨씬 적은 FLOPs를 필요로 한다.

Figure 2: IBRNet for volume density and color prediction at a continuous 5D location $(\mathbf{x},\mathbf{d})$ . We first input the 2D image features $\{\mathbf{f}_{i}\}_{i=1}^{N}$ extracted from all source views to a PointNet-like MLP to aggregate local and global information, resulting in multi-vi