[논문 리뷰] Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama

Ching-Yu Hsu, Cheng Sun외 1명|arXiv (Cornell University)|2021. 06. 21.

Advanced Vision and Imaging인용 수 11

한 줄 요약

이 논문은 신경 렌디언스 필드를 사용하여 단일 360° RGB-D 파ano라마에서 파라락스 기능을 갖춘 새로운 원형 시각을 합성하는 최초의 방법인 OmniNeRF를 제안한다. 가상 카메라 위치에서 3D 및 2D 원형 좌표 간의 왕복 투영을 통해 훈련 데이터를 증강하고, 카메라 파rameter 없이 자유 시점 렲영을 가능하게 하여, 합성 및 실세계 데이터셋에서 고해상도 결과를 달성하며, Matterport3D에서 PSNR 최대 33.94를 기록한다.

ABSTRACT

We present Omnidirectional Neural Radiance Fields (OmniNeRF), the first method to the application of parallax-enabled novel panoramic view synthesis. Recent works for novel view synthesis focus on perspective images with limited field-of-view and require sufficient pictures captured in a specific condition. Conversely, OmniNeRF can generate panorama images for unknown viewpoints given a single equirectangular image as training data. To this end, we propose to augment the single RGB-D panorama by projecting back and forth between a 3D world and different 2D panoramic coordinates at different virtual camera positions. By doing so, we are able to optimize an Omnidirectional Neural Radiance Field with visible pixels collecting from omnidirectional viewing angles at a fixed center for the estimation of new viewing angles from varying camera positions. As a result, the proposed OmniNeRF achieves convincing renderings of novel panoramic views that exhibit the parallax effect. We showcase the effectiveness of each of our proposals on both synthetic and real-world datasets.

연구 동기 및 목표

• 기존의 다중 시점 방법의 한계를 극복하고 단일 360° RGB-D 파노라마에서 파라락스 효과를 갖춘 새로운 원형 시각 합성을 가능하게 하기 위해.
• 단일 전방향 입력과 깊이 정보를 활용하여 다중 이미지 및 카메라 파라미터의 필요성을 제거하기 위해.
• 단일 입력에서의 훈련 데이터 부족 문제를 해결하기 위해 3D-2D 재투영을 통한 합성 다중 시점 훈련 샘플 생성을 통해.
• 기울기 기반 감독과 재투영된 시각에서의 완전하지 못하거나 가림된 영역을 잘 처리함으로써 렌더링 품질을 향상시키기 위해.
• 암묵적 신경 필드를 활용하여 단일 원형 이미지에서 전체 3D 시점 표현을 학습하는 것이 가능한지 검증하기 위해.

제안 방법

• 가상 위치로 카메라 중심을 이동시키고 3D 점들을 다시 2D 이미지 공간으로 재투영하여 합성 훈련 시각을 생성함으로써 단일 RGB-D 파노라마를 증강하는 방법.
• 5차원 좌표(𝑥,𝑦,𝑧,𝜃,𝜙)를 색상과 밀도로 매핑하는 연속적인 함수로 시점을 표현하기 위해 다층 퍼셉트론(MLP)을 사용하여 자유 시점 렌더링를 가능하게 하는 방법.
• 깊이 맵과 중심에서의 단위 벡터를 사용하여 2D 이미지 좌표를 3D로 투영함으로써 카메라 파라미터 추정 없이 일관된 레이 추적을 가능하게 하는 방법.
• 결함 있는 픽셀(가림 또는 해상도 제한으로 인한 결손)을 처리하면서도 다중 시점 시각을 시뮬레이션하기 위해 3D-2D 및 2D-3D 투영을 왕복 적용하는 방법.
• 훈련 중에 유효하고 시야에 들어오는 픽셀에만 집중하기 위해 픽셀 기반 NeRF 표현을 활용하여 완전하지 못한 투영으로 인한 아티팩트를 줄이는 방법.
• 합성된 원형 시각의 구조적 일致성과 세부 사항을 향상시키기 위해 보조 기울기 손실을 도입하는 방법.

실험 결과

연구 질문

• RQ1 단일 360° RGB-D 파노라마를 사용하여 현실적인 파라락스 효과를 갖춘 새로운 원형 시각을 합성할 수 있는가?
• RQ2 단일 입력 파노라마에서 효과적인 훈련 데이터 증강을 통해 신경 렌디언스 필드 학습의 강건성을 확보할 수 있는가?
• RQ3 단일 파노라마에서 훈련된 신경 렌디언스 필드가 복잡한 시점에서 새로운 카메라 위치로 얼마나 잘 일반화되는가?
• RQ4 기울기 기반 감독이 합성된 원형 시각의 정확성과 구조적 정밀도를 향상시키는가?
• RQ5 OmniNeRF는 카메라 파라미터나 다중 입력 이미지 없이도 사진 수준의 렌더링을 달성할 수 있는가?

주요 결과

• OmniNeRF는 동일한 단일 입력에서 훈련된 기준선 NeRF 모델(22.459)에 비해 Structured3D 데이터셋에서 PSNR 33.147을 기록하여 뚜렷한 승리함.
• Matterport3D 데이터셋에서 OmniNeRF는 기울기 감독을 적용한 결과 PSNR 33.943을 기록했으며, 기준선 NeRF의 17.269에 비해 강력한 일반화 능력을 보여줌.
• 외부 Google Street View 데이터셋에서는 기울기 손실을 적용한 OmniNeRF가 PSNR 33.766을 기록하여 복잡한 외부 환경에서도 뛰어난 성능을 보임.
• 기울기 손실의 포함으로 SSIM이 향상되고 LPIPS가 감소하여 합성된 시각의 구조적 유지 및 시각적 품질이 향상됨.
• 정성적 결과에서 OmniNeRF는 복잡한 기하학적 구조가 있는 장면에서도 수평 경로를 따라 자연스러운 새로운 시각을 생성할 수 있었으며, 특히 극도로 가려진 또는 비정형적인 구조에서는 성능 저하가 발생함.
• 보조 영상에서 확인된 바와 같이, 단일 파노라마에서 플라이스러운 렌더링이 가능하며, 이는 360° 시점 탐색을 위한 임마ersive 기능을 확인함.