Skip to main content
QUICK REVIEW

[논문 리뷰] From Capture to Display: A Survey on Volumetric Video

Yili Jin, Kaiyuan Hu|arXiv (Cornell University)|2023. 09. 11.
Image and Video Quality AssessmentComputer Science인용 수 8
한 줄 요약

볼류메트릭 비디오 시스템에 대한 포괄적 조사로, 시스템 아키텍처, 표현 방식, 오픈 데이터셋, 품질 평가, 엔드투엔드 파이프라인, 응용 분야 및 연구 기회를 다룬다.

ABSTRACT

Volumetric video, which offers immersive viewing experiences, is gaining increasing prominence. With its six degrees of freedom, it provides viewers with greater immersion and interactivity compared to traditional videos. Despite their potential, volumetric video services pose significant challenges. This survey conducts a comprehensive review of the existing literature on volumetric video. We firstly provide a general framework of volumetric video services, followed by a discussion on prerequisites for volumetric video, encompassing representations, open datasets, and quality assessment metrics. Then we delve into the current methodologies for each stage of the volumetric video service pipeline, detailing capturing, compression, transmission, rendering, and display techniques. Lastly, we explore various applications enabled by this pioneering technology and we present an array of research challenges and opportunities in the domain of volumetric video services. This survey aspires to provide a holistic understanding of this burgeoning field and shed light on potential future research trajectories, aiming to bring the vision of volumetric video to fruition.

연구 동기 및 목표

  • 볼류메트릭 비디오 서비스의 일반 프레임워크를 정의하고 핵심 구성요소와 상호 작용을 식별한다.
  • 3D 표현, 데이터셋 및 품질 평가 방법을 포함한 필수 전제 조건을 요약한다.
  • 캡처, 압축, 전송, 렌더링, 디스플레이를 포함한 엔드투엔드 파이프라인 단계들을 검토하고 각 단계의 현재 방법을 요약한다.
  • 볼류메트릭 비디오로 가능해진 응용 분야를 탐색하고 주요 연구 과제와 기회를 개요한다.
  • 재현 가능한 연구를 안내하기 위한 공개 데이터셋 및 품질 평가 고려사항을 강조한다.

제안 방법

  • 볼류메트릭 비디오 서비스의 일반 시스템 프레임워크를 제안하고 각 구성요소의 입력/출력 및 상호작용을 상세히 설명한다.
  • 3D 표현(명시적 및 암시적)을 분류하고 크기, 품질, 계산, 편집 가능성 측면에서의 트레이드오프를 비교한다.
  • 형식, 콘텐츠 및 해상도별로 공개 볼류메트릭 데이터세트를 검토하여 데이터 활용 가능성을 설명한다.
  • 캡처, 압축, 전송, 렌더링, 디스플레이를 포함하는 엔드투엔드 파이프라인을 개요하고 일반적인 기법들(타일링, 적응 스트리밍, 뷰포트 예측)을 논의한다.
  • 주관적 대 객관적 지표 구분 등 품질 평가를 논의하고 대표적인 모델 기반 및 영상 기반 QA 접근법을 조사한다.
  • 향후 연구를 안내하기 위한 필수 조건, 파이프라인 단계, 응용 분야 및 기회의 체계적인 분류를 제공한다.

실험 결과

연구 질문

  • RQ1볼류메트릭 비디오 서비스의 일반 프레임워크와 아키텍처는 무엇이며 구성요소 간의 상호 작용은 어떻게 되는가?
  • RQ2볼류메트릭 비디오에 사용되는 3D 표현은 무엇이며 크기, 품질, 계산, 편집 가능성에서 그 트레이드오프는 무엇인가?
  • RQ3볼류메트릭 비디오를 위한 공개 데이터세트는 무엇이 있으며 그 특징은 무엇인가?
  • RQ4볼류메트릭 비디오 파이프라인의 주요 단계(캡처, 압축, 전송, 렌더링, 디스플레이)와 각 단계의 현재 방법은 무엇인가?
  • RQ5볼류메트릭 비디오에서 어떤 응용 분야 및 연구 기회가 존재하며 어떤 도전과제가 남아 있는가?

주요 결과

  • 볼류메트릭 비디오 표현은 포인트 클라우드, 메시, 보셀, 플레노픽 포인트 클라우드, 암시적 표면, 그리고 NeRF 등 다양하며, 각각 고유한 강점과 한계가 있다.
  • 공개 볼류메트릭 데이터세트는 존재하지만 규모나 범위가 작은 편이고, 종종 한정된 주제나 장면에 집중한다.
  • 볼류메트릭 비디오의 품질 평가에는 주관적 및 객관적 접근이 포함되며, 현재 이 분야에 대해 표준화된 지침은 확립되어 있지 않다.
  • 엔드투엔드 파이프라인은 캡처(보정된 카메라 어레이 또는 단안 설정), 인코딩(타일링), 스트리밍(live 또는 VOD), 뷰포트 기반 디코딩, 디스플레이를 위한 2D 렌더링으로 구성된다.
  • 뷰포트 예측 및 타일링 전략은 볼류메트릭 비디오 시스템에서 효율적인 스트리밍 및 렌더링의 핵심이다.
  • 이 조사는 표현, 데이터셋, QA 메트릭, 압축, 전송, 렌더링 및 실제 배치에 걸친 여러 연구 기회와 과제를 식별한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.