[논문 리뷰] Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines

Ben Mildenhall, Pratul P. Srinivasan외 5명|arXiv (Cornell University)|2019. 05. 02.

Advanced Vision and Imaging참고 문헌 48인용 수 107

한 줄 요약

우리는 각 입력 뷰를 multiplane images (MPI)를 통해 로컬 광장으로 확장하고 인접한 MPI를 블렌딩하여 새로운 뷰를 합성하며, Nyquist 품질의 결과를 최대 4000배 적은 입력 뷰로 달성할 수 있는 처방적 샘플링 가이드를 제공합니다.

ABSTRACT

We present a practical and robust deep learning solution for capturing and rendering novel views of complex real world scenes for virtual exploration. Previous approaches either require intractably dense view sampling or provide little to no guidance for how users should sample views of a scene to reliably render high-quality novel views. Instead, we propose an algorithm for view synthesis from an irregular grid of sampled views that first expands each sampled view into a local light field via a multiplane image (MPI) scene representation, then renders novel views by blending adjacent local light fields. We extend traditional plenoptic sampling theory to derive a bound that specifies precisely how densely users should sample views of a given scene when using our algorithm. In practice, we apply this bound to capture and render views of real world scenes that achieve the perceptual quality of Nyquist rate view sampling while using up to 4000x fewer views. We demonstrate our approach's practicality with an augmented reality smartphone app that guides users to capture input images of a scene and viewers that enable realtime virtual exploration on desktop and mobile platforms.

연구 동기 및 목표

• 신뢰할 수한 고품질 뷰 합성을 위한 입력 뷰 샘플링 밀도를 처방하기 위해 plenoptic 샘플링 이론을 확장한다.
• MPIs를 사용해 불규칙 뷰 격자를 로컬 광장으로 확장하고, 연속 뷰 재구성을 위해 이를 블렌딩하는 실용 파이프라인을 개발한다.
• 소형 인접 뷰 영역에서 MPI를 예측해 최첨단 결과를 달성할 수 있음을 딥러닝으로 보인다.
• 모바일 및 데스크탑 플랫폼에서 AR 앱과 실시간 렌더링으로 방법을 실증한다.

제안 방법

• 샘플링된 각 뷰를 D 깊이 평면을 가진 로컬 MPI로 승격시키되, 입력 샘플링 속도에 따라 D를 적응시키는 3D CNN을 사용한다.
• 후방에서 전방으로 RGB-Alpha MPI 평면을 알파 합성하고 인접 MPI의 렌더링을 블렌딩하여 새로운 뷰를 렌더링한다.
• 오클루전 처리를 위해 층별 불투명도 예측과 α-인식 블렌딩(Equation 8)을 사용하도록 plenoptic 샘플링을 확장한다.
• Occlusions 하에서 필요한 뷰 밀도를 D배로 감소시키는 샘플링 한계(두 시점 방향에 대해서는 D^2배)를 도출한다(Equations 4–6, 7).
• 합성(SUNCG, UnrealCV)과 실제 핸드헬드 데이터로 파이프라인을 학습시키고, 이미지 재구성 손실 및 지각 손실로 지도하며, 효율성을 위한 단계적 학습을 수행한다.

실험 결과

연구 질문

• RQ1 로컬 라이트 필드 융합으로 신뢰할 수 있는 고품질의 새로운 뷰를 렌더링하려면 입력 뷰를 얼마나 촘촘하게 캡처해야 하는가?
• RQ2 작고 불규칙한 뷰 집합에서 MPIs를 예측하되, 다수의 새로운 시점 뷰 간 일관성을 유지할 수 있는가?
• RQ3 MPI 깊이 평면 D의 수가 뷰 합성 품질과 필요 샘플링 밀도에 어떤 영향을 미치는가?
• RQ4 여러 MPI의 알파 가이던스 블렌딩이 단일 MPI 접근법에 비해 occlusion과 비람버트 효과를 다루는 데 더 향상되는가?
• RQ5 실시간 AR/VR 앱에서 현저히 축소된 입력 뷰로 Nyquist 수준의 지각 품질을 달성할 수 있는가?

주요 결과

• 본 방법은 64 MPI 평면을 사용할 때 입력 뷰를 최대 ~4000× 적게 사용하더라도 Nyquist 샘플링에 해당하는 지각 품질을 달성할 수 있다(예: 64^2 뷰).
• 각 뷰를 D 평면 MPI로 승격시키면 occlusion 하에서 필요한 카메라 샘플링 간격이 D배(두 시점 방향의 경우 D^2배) 감소한다.
• 다수 MPI 렌더링의 Alpha-인식 블렌딩은 단순 평균화나 단일 MPI 렌더링보다 해상도, 잔상이 줄고 더 높은 정확도를 얻는다.
• 3D CNN이 입력 샘플링 속도에 따라 깊이 평면의 수를 적응시켜 융통성 있고 스케일 인식 뷰 합성을 가능하게 한다.
• 이 파이프라인은 데스크탑 및 모바일에서 실시간 렌더링을 지원하며 합성 데이터와 실제 핸드헬드 데이터로 검증된다.