[논문 리뷰] Adaptive Streaming in Interactive Multiview Video Systems

Xue Zhang, Laura Toni외 3명|arXiv (Cornell University)|2018. 02. 25.

Image and Video Quality Assessment참고 문헌 36인용 수 3

한 줄 요약

이 논문은 대역폭 제약 조건 하에서 네트워크 자원이 제한된 상황에서도 최적의 네비게이션 품질을 달성하기 위해 최적의 카메라 뷰 집합과 비트레이트를 동시에 선택하는 상호작용형 다중뷰 비디오 시스템을 위한 적응형 스트리밍 전략을 제안한다. 동적 프로그래밍과 근사 휴리스틱을 활용하여 코딩 및 가상 합성 아티팩트를 모두 감소시켜, 이론적이고 현실적인 네트워크 조건 모두에서 기준 대조 방법에 비해 PSNR와 SSIM에서 뚜렷한 향상을 이룬다.

ABSTRACT

Multiview applications endow final users with the possibility to freely navigate within 3D scenes with minimum-delay. A real feeling of scene navigation is enabled by transmitting multiple high-quality camera views, which can be used to synthesize additional virtual views to offer a smooth navigation. However, when network resources are limited, not all camera views can be sent at high quality. It is therefore important, yet challenging, to find the right tradeoff between coding artifacts (reducing the quality of camera views) and virtual synthesis artifacts (reducing the number of camera views sent to users). To this aim, we propose an optimal transmission strategy for interactive multiview HTTP adaptive streaming (HAS). We propose a problem formulation to select the optimal set of camera views that the client requests for downloading, such that the navigation quality experienced by the user is optimized while the bandwidth constraints are satisfied. We show that our optimization problem is NP-hard, and we therefore develop an optimal solution based on the dynamic programming algorithm with polynomial time complexity. To further simplify the deployment, we present a suboptimal greedy algorithm with effective performance and lower complexity. The proposed controller is evaluated in theoretical and realistic settings characterized by realistic network statistics estimation, buffer management and server-side representation optimization. Simulation results show significant improvement in terms of navigation quality compared with alternative baseline multiview adaptation logic solutions.

연구 동기 및 목표

• 제한된 네트워크 자원 조건 하에서 상호작용형 다중뷰 스트리밍에서 비디오 품질을 최적화하는 과제를 해결한다.
• 저품질의 뷰 품질로 인한 코딩 아티팩트와 적은 수의 뷰 전송로 인한 가상 합성 아티팩트 사이의 트레이드오프를 균형 잡는다.
• 사용자 상호작용과 콘텐츠 특성을 모두 고려한 개선된 네비게이션 품질을 위한 적응 전략을 개발한다.
• 대역폭 인식 기반의 클라이언트 측 요청 선택 및 서버 측 표현 최적화를 통해 서비스 품질을 보장한다.

제안 방법

• 다운로드할 최적의 카메라 뷰 집합과 비트레이트를 선택하기 위한 NP-난이도 최적화 문제로 문제를 수립한다.
• NP-난이도 문제를 해결하기 위한 다항 시간 복잡도를 가진 동적 프로그래밍 기반 최적 해법을 제안한다.
• 실제 구현에 적합한 낮은 복잡도와 근사 최적 성능을 갖춘 부분 최적의 근사 알고리즘을 설계한다.
• 버퍼 관리와 현실적인 네트워크 트레이스 추정을 통합한 클라이언트 측 적응 논리 구현.
• 총 저장소 용량당 18 Mbps 제약 조건 하에 뷰와 비트레이트의 공동 선택 기반 서버 측 표현 최적화를 구현.
• 깊이 영상 기반 렌더링(DIBR)을 활용해 가상 뷰를 합성하며, 품질은 기준 뷰 품질과 각도적 근접도에 따라 달라진다.

실험 결과

연구 질문

• RQ1 대역폭 제약 조건 하에서 네비게이션 품질을 최대화하기 위해 최적의 카메라 뷰 집합과 비트레이트를 어떻게 선택할 수 있는가?
• RQ2 다중뷰 스트리밍에서 코딩 아티팩트(낮은 뷰 품질)와 가상 합성 아티팩트(적은 뷰 수) 사이의 트레이드오프는 어떠한가?
• RQ3 사용자 상호작용(네비게이션 창의 동적 변화)은 최적의 적응 전략에 어떤 영향을 미치는가?
• RQ4 저복잡도 휴리스틱이 실세계 시스템에 구현 가능한 수준에서 근사 최적 성능를 달성할 수 있는가?

주요 결과

• 제안된 최적의 동적 프로그래밍 해법은 기준 방법 대비 최대 SSIM 0.05 향상 및 PSNR 0.02 향상으로 네비게이션 품질 향상이 뚜렷하다.
• 부분 최적의 근사 알고리즘은 상당히 감소된 계산 복잡도를 확보하면서도 근사 최적 성능를 달성하여 실시간 구현에 적합하다.
• 저상호작용 시나리오에서는 모든 사용자에게 고품질 네비게이션을 유지하며, 최적화된 표현 집합이 비디오 및 카메라 뷰에 따라 달라진다.
• 고상호작용 시나리오에서는 비균일한 네비게이션 패턴을 효과적으로 처리하며, 사용자별 대역폭 및 네비게이션 변동성(σ² = 10, 150, 3000)에 맞춰 표현 집합이 적응된다.
• 모든 알고리즘에서 시간이 지남에 따라 버퍼 점유율이 안정적으로 유지되며, 재버퍼링 이벤트가 발생하지 않아 대역폭 및 버퍼 관리가 효과적임을 시사한다.
• 서버 측 표현 집합의 공동 최적화로 인해 각 카메라 뷰에 대해 다양한 비트레이트 할당이 이루어지며, 콘텐츠 특성 및 사용자 특성 반영이 가능하다.