[논문 리뷰] Collaborative P2P Streaming of Interactive Live Free Viewpoint Video

Dongni Ren, S.-H. Gary Chan외 3명|arXiv (Cornell University)|2012. 11. 20.

Image and Video Quality Assessment참고 문헌 19인용 수 4

한 줄 요약

이 논문은 피어 간 협업 기반의 피어투피어(P2P) 스트리밍을 제안하며, 라이브 자유 시점 영상에 대해 피어들이 공동으로 앵커 카메라 뷰를 선택하여 총 비용을 최소화한다—접근 비용, 왜곡, 재구성 비용을 균형 잡는 방식이다. 재구성 비용이 무시할 만할 경우 동적 프로그래밍(DP) 알고리즘을 도입하고, 비용이 무시할 수 없을 경우 히وري스틱이며 분산형 알고리즘을 제안하여 비협력적 P2P 기반 대비 뚜렷한 성능 향상을 달성한다.

ABSTRACT

We study an interactive live streaming scenario where multiple peers pull streams of the same free viewpoint video that are synchronized in time but not necessarily in view. In free viewpoint video, each user can periodically select a virtual view between two anchor camera views for display. The virtual view is synthesized using texture and depth videos of the anchor views via depth-image-based rendering (DIBR). In general, the distortion of the virtual view increases with the distance to the anchor views, and hence it is beneficial for a peer to select the closest anchor views for synthesis. On the other hand, if peers interested in different virtual views are willing to tolerate larger distortion in using more distant anchor views, they can collectively share the access cost of common anchor views. Given anchor view access cost and synthesized distortion of virtual views between anchor views, we study the optimization of anchor view allocation for collaborative peers. We first show that, if the network reconfiguration costs due to view-switching are negligible, the problem can be optimally solved in polynomial time using dynamic programming. We then consider the case of non-negligible reconfiguration costs (e.g., large or frequent view-switching leading to anchor-view changes). In this case, the view allocation problem becomes NP-hard. We thus present a locally optimal and centralized allocation algorithm inspired by Lloyd's algorithm in non-uniform scalar quantization. We also propose a distributed algorithm with guaranteed convergence where each peer group independently make merge-and-split decisions with a well-defined fairness criteria. The results show that depending on the problem settings, our proposed algorithms achieve respective optimal and close-to-optimal performance in terms of total cost, and outperform a P2P scheme without collaborative anchor selection.

연구 동기 및 목표

• 피어들이 촬영된 카메라 뷰 사이의 가상 뷰를 선택할 수 있는 P2P 라이브 자유 시점 영상 스트리밍 환경에서 효율적이고 협업 기반의 앵커 뷰 선택 문제를 해결한다.
• 접근 비용, 뷰 합성 왜곡, 네트워크 재구성 비용을 포함한 총 비용을 최소화하기 위해 앵커 뷰의 공동 할당을 통해 이를 달성한다.
• 다양한 네트워크 조건에 적응할 수 있는 중심집중형 및 분산형 알고리즘을 설계하며, 특히 피어의 뷰 전환으로 인한 재구성 비용이 무시할 수 없는 경우에 초점을 맞춘다.
• 실제 스트리밍 시나리오에서 제안된 알고리즘의 성능을 비협력적 P2P 기반 및 최적 해법과 비교 평가한다.

제안 방법

• 재구성 비용이 무시할 만할 경우, 접근 비용(서버에서의 비용), 왜곡(DIBR 합성에 기인), 재구성 비용(뷰 전환으로 인한 비용) 간의 트레이드오���을 앵커 뷰 할당 문제로 수식화한다.
• 재구성 비용이 무시할 만할 경우 최적의 다항 시간 해를 보장하는 동적 프로그래밍(DP) 알고리즘을 개발하여 접근 비용 제약 조건 및 비용 함수 설정 모두에 적용 가능하게 한다.
• 재구성 비용이 무시할 수 없을 경우의 NP-난해 문제에 대응하기 위해 비균일 스칼라量子화에서 라이오드 알고리즘에 영감을 받은 중심집중형 국소 최적 알고리즘을 제안한다.
• 정의된 공정성 기준에 기반해 피어 그룹이 병합 및 분할 결정을 독립적으로 내리는 수렴 보장이 있는 분산 알고리즘을 도입한다.
• 공통 앵커 뷰의 접근 비용을 공유하기 위해 협력 기반의 그룹 구조를 도입하여 전체 시스템 비용을 감소시킨다.
• 다양한 뷰 가격, 피어 수, 재구성 비용 조건에서 성능을 평가하기 위해 시뮬레이션을 수행하며, 전수 탐색 및 비협력적 P2P 기반과의 비교 분석을 실시한다.

실험 결과

연구 질문

• RQ1 피어의 뷰 전환으로 인한 네트워크 재구성 비용이 무시할 만할 경우, P2P 라이브 자유 시점 영상 스트리밍 시스템에서 앵커 뷰 할당을 어떻게 최적화할 수 있는가?
• RQ2 재구성 비용이 무시할 수 없을 경우 앵커 뷰 할당 문제의 계산 복잡도는 어떻게 되며, 이를 효율적으로 해결할 수 있는가?
• RQ3 공정성과 낮은 총 비용을 확보하면서도 수렴 보장이 있는 분산형 알고리즘을 설계하여 피어 그룹이 협업적으로 앵커 뷰를 선택할 수 있는가?
• RQ4 다양한 피어 수와 뷰 가격 조건에서 협업 기반 앵커 선택은 비협력적 P2P 기반 대비 총 비용과 확장성 측면에서 어떻게 비교되는가?
• RQ5 최적 할당 전략에서 접근 비용, 왜곡, 재구성 비용 구성 요소 간의 트레이드오플은 어느 정도의 정도로 이루어지는가?

주요 결과

• 재구성 비용이 무시할 만할 경우 DP 기반 알고리즘이 다항 시간 내에 최적 성능을 달성하며, 공통 앵커 뷰의 효율적 공유를 통해 총 비용을 크게 감소시킨다.
• 재구성 비용이 무시할 수 없을 경우 문제는 NP-난해가 되며, CPG 및 DPG 알고리즘과 같은 히وري스틱 접근이 필요하다.
• 중앙집중형(CPG) 알고리즘은 특히 앵커 뷰 접근 가격이 높을 경우 비용 공유가 더 중요해지므로 전역 최적 해에 매우 가까운 성능을 보인다.
• 분산형(DPG) 알고리즘은 최적에 가까운 성능을 달성하며 뷰 가격 변화에 효과적으로 적응하며, 접근 비용이 높아질수록 협력 그룹의 병합 빈도가 증가한다.
• 접근 비용이 높아질수록 서버에서 추출하는 카메라 뷰의 총 수가 감소한다. 이는 피어들이 비용을 공유하기 위해 점점 더 협력하기 때문이다.
• 단순한 P2P 비협업 기반은 특히 피어 수가 적을 경우 가장 열 劣한 성능을 보이며, CPG 및 DPG는 효과적인 비용 공유 및 동적 재구성 덕분에 낮은 총 비용을 유지한다.