[논문 리뷰] FVV Live: A real-time free-viewpoint video system with consumer electronics hardware

Pablo Carballeira, Carlos Carmona외 9명|arXiv (Cornell University)|2021. 05. 14.

Advanced Vision and Imaging참고 문헌 60인용 수 38

한 줄 요약

FVV Live는 소비자용 스테레오 카메라와 일반 소매 장비를 사용하여 실시간으로 저비용으로 자유 시점 영상 시스템을 제공하는 것으로, 깊이 보정, 손실 없는 12비트 깊이 인코딩, 계층적 뷰 합성을 통해 고품질의 가상 뷰 합성을 실현한다. 이 시스템은 50ms 이내의 운동-광자 지연과 약 250ms의 종단 간 지연을 달성하며, 주관적 평가 결과 기존 최고 수준의 DIBR 기법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

© 2021 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.

연구 동기 및 목표

• 소비자용 하드웨어만을 사용하여 저비용이고 실시간으로 작동하는 자유 시점 영상 시스템을 개발하는 것.
• FVV 시스템에서 영상 품질, 실시간 성능, 구현 비용 간의 상충 관계를 해결하는 것.
• 행사 방송 및 영상 회의와 같은 응용 분야에서 원활한 가상 탐색과 双방향 몰입형 커뮤니케이션을 가능하게 하는 것.
• 소비자용 깊이 추정의 제한과 대역폭 제약에도 불구하고 합성 품질을 향상시키는 것.

제안 방법

• 다중뷰 및 깊이(MVD) 데이터를 확보하기 위해 흩어진 배열로 배치된 아홉 대의 Stereolabs ZED 스테레오 카메라를 사용한다.
• 스테레오 캘리브레이션 정확도 부족으로 발생하는 오류를 보정하기 위해 캡처 서버에서 깊이 후처리를 수행한다.
• 표준 8비트 비디오 코덱을 초월해 손실 없는 12비트 깊이 인코딩을 적용하여 고정밀 깊이 데이터를 유지한다.
• 가상 뷰포인트 위치에 따라 카메라 스트림의 활성화/비활성화를 제어하는 적응형 스트리밍을 구현하여 비트레이트를 감소시킨다.
• 단일 엣지 서버에서 계층적 뷰 합성을 구현하여 전경과 배경을 분리하여 효율적인 렲더링을 수행한다.
• 캡처 서버에서 실시간 전경/배경 분할을 수행하여 계층적 렌더링을 가능하게 하고 대역폭 최적화를 달성한다.

실험 결과

연구 질문

• RQ1 소비자용 전자기기 하드웨어만을 사용하여 실시간 성능을 희생시키지 않고도 고품질의 자유 시점 영상 시스템을 구축할 수 있는가?
• RQ2 저비용 스테레오 카메라에서 유도된 깊이 추정 오류를 실시간으로 효과적으로 보정할 수 있는가?
• RQ3 제한된 대역폭 조건에서 핵심 깊이 데이터를 유지하면서도 합성 품질을 극대화할 수 있는 압축 및 전송 전략은 무엇인가?
• RQ4 전경/배경를 별도로 처리하는 계층적 뷰 합성 방식은 시각적 품질 향상과 계산 부담 감소에 어떤 영향을 미치는가?
• RQ5 FVV Live는 주관적 품질 평가에서 최신 DIBR 기반 시스템보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• FVV Live는 평균 운동-광자 지연이 50ms 이내이며 종단 간 지연이 약 250ms로, 실시간으로 반응성이 뛰어난 가상 탐색을 가능하게 한다.
• 모든 시나리오, 경로, 카메라 구성에서 주관적 평가 결과 FVV Live가 VSRS(최신 DIBR 기법)보다 80% 이상의 비교에서 선호된다.
• 가상 카메라 경로를 따라 일관된 시각적 품질을 유지하며, 스틸 카메라 1/2 및 1/3 경로 간 품질에 통계적으로 유의미한 차이가 없다.
• FVV Live의 DMOS 점수는 3.0 이상(보통 품질)이며, 작은 스마트폰 화면에서는 최대 4.0~4.5에 이르며, 단순한 장면에서는 물리적 카메라 기준과 거의 구별되지 않는 품질을 보인다.
• 손실 없는 12비트 깊이 인코딩이 합성 품질 향상에 크게 기여하며, 적응형 스트리밍은 관련 카메라 데이터만 선택적으로 전송하여 대역폭을 감소시킨다.
• 실시간 전경/배경 분할을 통한 계층적 합성 방식은 효율적인 렌더링을 가능하게 하며, 고해상도 깊이 데이터 전달을 위한 대역폭 재할당이 가능하다.