[논문 리뷰] Enhancement of Novel View Synthesis Using Omnidirectional Image Completion

Takayuki Hara, Tatsuya Harada|arXiv (Cornell University)|2022. 03. 18.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 재구성된 시야에서 가려진 영역과 해상도가 낮은 영역을 메우기 위해 자기지도 학습 기반의 360° 이미지 복원 네트워크를 활용하여 단일 360° RGB-D 이미지로부터 고품질의 새로운 시점 합성 기법을 제안한다. 재구성된 시야에서 발생하는 영역을 최소한의 겹침으로 선택하기 위해 시뮬레이티드 어닐링을 이용한 최대 무게 독립 집합 공식을 사용함으로써, 3D 일致성과 성능이 기존의 OmniNeRF와 같은 기존 방법보다도 향상되었으며, 실제 및 합성 데이터셋에서 정성적·정량적 평가 모두에서 뛰어난 성능을 보였다.

ABSTRACT

In this study, we present a method for synthesizing novel views from a single 360-degree RGB-D image based on the neural radiance field (NeRF) . Prior studies relied on the neighborhood interpolation capability of multi-layer perceptrons to complete missing regions caused by occlusion and zooming, which leads to artifacts. In the method proposed in this study, the input image is reprojected to 360-degree RGB images at other camera positions, the missing regions of the reprojected images are completed by a 2D image generative model, and the completed images are utilized to train the NeRF. Because multiple completed images contain inconsistencies in 3D, we introduce a method to learn the NeRF model using a subset of completed images that cover the target scene with less overlap of completed regions. The selection of such a subset of images can be attributed to the maximum weight independent set problem, which is solved through simulated annealing. Experiments demonstrated that the proposed method can synthesize plausible novel views while preserving the features of the scene for both artificial and real-world data.

연구 동기 및 목표

• 단일 360° RGB-D 이미지에서 충분한 다중시점 감독이 부족한 상황에서 고품질의 새로운 시점 합성을 구현하는 데 도전한다.
• 기존의 단일 이미지 NeRF 방법에서 가려진 영역에 대해 MLP 이웃 보간에 의존함으로써 발생하는 잡음과 흐림 현상을 해결한다.
• 다중 재구성된 시야에서 완성된 영역의 겹침을 최소화하여 새로운 시점 간의 3D 일치성을 향상시킨다.
• 기하학적 일致성이 감소하는 것을 방지하기 위해 총경로를 구성하는 완성된 이미지의 서브셋을 선별하여 NeRF 학습을 수행한다.
• 제안된 방법이 합성 및 실제 세계 데이터셋 모두에서 자기지도 학습 기반의 360° 이미지 복원과 NeRF 학습을 융합함으로써 효과적임을 입증한다.

제안 방법

• 다양한 가상 카메라 위치에서 입력 360° RGB-D 이미지를 재구성하여 새로운 시점의 360° 이미지를 시뮬레이션한다.
• 시점 이동에 따른 가림 및 해상도 변화를 시뮬레이션하기 위해 학습된 자기지도 학습 기반의 360° 이미지 복원 네트워크를 적용하여 재구성된 이미지의 누락 영역을 메운다.
• 학습 이미지 선택 문제를 최대 무게 독립 집합 문제로 공식화하여 완성된 영역의 겹침을 최소화하고 3D 일치성을 향상시킨다.
• 시뮬레이티드 어닐링을 사용하여 최대 무게 독립 집합 문제를 해결하고, NeRF 학습에 적합한 최적의 완성된 이미지 서브셋을 식별한다.
• 기하학적 일致성과 잡음 감소를 보장하기 위해 선택된 완성된 이미지 서브셋 전용으로 NeRF 모델을 학습시킨다.
• 학습된 NeRF를 사용하여 장면의 세부 사항을 유지하면서 고사실감 있는 새로운 시점 영상을 합성한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반의 360° 이미지 복원은 단일 360° RGB-D 이미지에서 새로운 시점 합성 품질을 향상시키는 데 기여하는가?
• RQ2 완성된 영역의 겹침이 최소화된 이미지 서브셋을 선택하는 것이 NeRF 기반의 새로운 시점 합성에서 더 높은 3D 일치성을 이끌어내는가?
• RQ3 실제 및 합성 데이터에서 제안된 방법은 OmniNeRF와 비교해 이미지 품질과 잡음 감소 측면에서 어떻게 성능을 냈는가?
• RQ4 이미지 복원 네트워크가 새로운 시점에서 발생하는 가림 및 해상도 변화를 얼마나 잘 일반화하여 처리하는가?
• RQ5 제안된 방법은 반복적 보정 또는 추가 학습 루프 없이도 임의의 NeRF 모델에 적용 가능한가?

주요 결과

• 제안된 방법은 Structure3D 및 Matterport3D 데이터셋에서 모두 OmniNeRF를 초월하는 평가 지표를 확보하여 뛰어난 이미지 품질과 잡음 감소를 입증하였다.
• 절단 실험 결과, 이미지 선택이 LPIPS 및 NLL 점수를 크게 향상시켜 특히 Matterport3D 데이터셋에서 더 나은 의미적 유사성과 이미지 타당성을 보여주었다.
• 이미지 선택이 없을 경우, 겹치는 완성된 영역으로 인한 3D 일치성 문제로 인해 NeRF 모델이 흐릿한 영상을 생성하여 인지적 품질과 가능성도 지표가 악화되었다.
• 평가 지점이 입력 이미지에서 멀리 떨어져 있을 경우, 선택되지 않은 설정에서의 뚜렷한 블러링에 의한 강건성 덕분에 PSNR 및 SSIM 측면에서 OmniNeRF를 초월하였다.
• 이미지 복원 네트워크는 새로운 장면에 대해 잘 일반화되어 있으며, 다양한 시점 조건에서도 가려진 영역을 타당하게 복원할 수 있었다.
• 제안된 방법은 합성 데이터(Synthetic, Structure3D) 및 실제 세계 데이터(Real-world, Matterport3D) 양쪽 모두에서 효과적이며, 강건성과 일반화 능력을 입증하였다.