[논문 리뷰] Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera

Rongsen Chen, Fang‐Lue Zhang외 3명|arXiv (Cornell University)|2022. 03. 31.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 손으로 촬영한 소비자용 카메라로 촬영한 일상적인 360° 파노라마 이미지를 사용하여 실시간 6-DoF 자유 시점 파노라마 합성에 대한 새로운 파이프라인을 제안한다. 비구조적인 360° 파노라마에서 희박하고 조밀한 깊이 추정을 활용함으로써, 대규모 실내 및 실외 환경에서 고해상도의 30fps 신규 시점 합성 구현이 가능해지며, 시각적 품질과 내구성 면에서 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Six degrees-of-freedom (6-DoF) video provides telepresence by enabling users to move around in the captured scene with a wide field of regard. Compared to methods requiring sophisticated camera setups, the image-based rendering method based on photogrammetry can work with images captured with any poses, which is more suitable for casual users. However, existing image-based rendering methods are based on perspective images. When used to reconstruct 6-DoF views, it often requires capturing hundreds of images, making data capture a tedious and time-consuming process. In contrast to traditional perspective images, 360° images capture the entire surrounding view in a single shot, thus, providing a faster capturing process for 6-DoF view reconstruction. This paper presents a novel method to provide 6-DoF experiences over a wide area using an unstructured collection of 360° panoramas captured by a conventional 360° camera. Our method consists of 360° data capturing, novel depth estimation to produce a high-quality spherical depth panorama, and high-fidelity free-viewpoint generation. We compared our method against state-of-the-art methods, using data captured in various environments. Our method shows better visual quality and robustness in the tested scenes.

연구 동기 및 목표

• 손으로 촬영한 단지 360° 파노라마 이미지만을 사용하여 대규모 환경에서 6-DoF 자유 시점 탐색을 가능하게 하기.
• 정확한 6-DoF 재구성을 위해 수백 개의 투시 영상이 필요한 전통적인 이미지 기반 렌더링 방법의 한계를 극복하기.
• 소비자용 360° 카메라를 사용하여 안정적이고 종단 간(end-to-end) 파이프라인을 제공함으로써 일상 사용자의 촬영 복잡도를 줄이기.
• 특수 카메라 랙이나 전문 장비에 의존하지 않고도 고해상도의 시각적 정확도와 실시간 성능(30fps)을 확보한 신규 시점 합성 달성하기.
• 비구조적인 360° 촬영물에서 발생하는 깊이 추정, 스티칭 아티팩트, 동적 물체 등의 과제 해결하기.

제안 방법

• 손으로 촬영한 소비자용 360° 카메라로 비구조적인 360° 파노라마 이미지를 촬영하기.
• COLMAP를 사용하여 오프라인으로 희박한 기하학적 재구성 수행하여 카메라 자세와 희박한 점군 추정하기.
• 다중 시점 스테레오(MVS) 원리에 기반한 새로운 다중 시점 기반 깊이 보간 및 정밀화 기법을 사용해 조밀한 구면 깊이 파노라마 추정하기.
• 특히 이미지 경계 근처에서 정확도를 향상시키고 아티팩트를 감소시키기 위해 구면 인식 기반 깊이 정밀화 기법 적용하기.
• 다중 입력 파노라마에서 깊이 유도 이미지 블렌딩 및 투영을 사용해 실시간(30fps)으로 새로운 파노라마 시점 합성하기.
• 전체 360° 시야를 유지하고 3D 공간에서의 이동 파라랄랙스를 지원하는 구면 렌더링 파이프라인 사용하기.

실험 결과

연구 질문

• RQ1 손으로 촬영한 360° 파노라마 이미지만을 사용하여 6-DoF 자유 시점 파노라마 시스템을 구축할 수 있는가?
• RQ2 고품질의 시점 합성을 지원하기 위해 구면 360° 파노라마에서 깊이 추정을 효과적으로 수행할 수 있는가?
• RQ3 특수 카메라 하드웨어 없이도 360° 파노라마만으로 실시간 30fps의 새로운 시점 합성을 달성할 수 있는가?
• RQ4 다양한 실내 및 실외 환경에서 제안된 방법이 최고 수준의 6-DoF 시스템과 비교해 시각적 품질과 내구성 면에서 어떻게 성능을 발휘하는가?
• RQ5 반사 표면, 동적 물체, 360° 파노라마에서의 스티칭 아티팩트 처리에 있어 이 방법의 주요 제약 사항은 무엇인가?

주요 결과

• 제안된 방법은 손으로 촬영한 360° 파노라마 이미지만을 사용하여 실시간 30fps의 새로운 시점 합성 구현에 성공하였다.
• 대규모 환경 포함 다양한 실내 및 실외 환경에서 시각적 품질과 내구성 면에서 최고 수준의 접근법을 능가하였다.
• 새로운 구면 인식 보간 및 정밀화 기법과 결합된 360° 파노라마에서의 깊이 추정은 실현 가능하고 효과적이었다.
• 복잡한 무늬와 조명 조건이 있는 환경에서도 일관된 성능을 보였으며, 일부 이전 방법이 실패하는 경우가 있었지만 본 시스템은 이를 초월하였다.
• 반사성 및 투명 표면(예: 유리) 처리에는 여전히 제약이 존재하여, 일관되지 않은 깊이 추정으로 인해 가로지르는 아티팩트가 발생한다.
• 360° 파노라마에서의 스티칭 아티팩트는 합성된 시점에서 가로지르는 아티팩트를 유발하며, 이는 사전 처리 또는 아티팩트 감소 기법의 향상 필요성을 시사한다.