[논문 리뷰] Toward One-Second Latency: Evolution of Live Media Streaming

Abdelhak Bentaleb, May Lim외 4명|arXiv (Cornell University)|2023. 10. 05.

Image and Video Quality Assessment인용 수 9

한 줄 요약

이 논문은 라이브 미디어 스트리밍의 진화를 저지연 전달로 요약하며, 지연 원인, 아키텍처, 프로토콜 및 LL-DASH와 LL-HLS 같은 확장, Twitch의 대형 도전과 향후 연구 방향에 대해 자세히 다룹니다.

ABSTRACT

This survey presents the evolution of live media streaming and the technological developments behind today's IP-based low-latency live streaming systems. Live streaming primarily involves capturing, encoding, packaging and delivering real-time events such as live sports, live news, personal broadcasts and surveillance videos. Live streaming also involves concurrent streaming of linear TV programming off the satellite, cable, over-the-air or IPTV broadcast, where the programming is not necessarily a real-time event. The survey starts with a discussion on the latency and latency continuum in streaming applications. Then, it lays out the existing live streaming workflows and protocols, followed by an in-depth analysis of the latency sources in these workflows and protocols. The survey continues with the technology enablers, low-latency extensions for the popular HTTP adaptive streaming methods and enhancements for robust low-latency playback. An entire section is dedicated to the detailed summary and findings of Twitch's grand challenge on low-latency live streaming. The survey concludes with a discussion of ongoing research problems in this space. We expect this survey to be the one-stop reference for those who would like to learn how low-latency live streaming has evolved and works today, and what further developments could happen in the future.

연구 동기 및 목표

• 라이브 및 저지연 라이브 스트리밍 구성 요소의 해부학과 엔드 투 엔드 지연에 대한 영향에 대한 포괄적 분석을 제공한다.
• 최신 기법 및 확장을 설명하여 견고하고 저지연 재생을 가능하게 한다.
• 콘텐츠 준비, 전달, 소비 단계의 지연 원인을 분석한다.
• 업계의 과제(예: Twitch)에서 얻은 주요 발견을 요약하고 향후 연구 문제를 개괄한다.

제안 방법

• 라이브 스트리밍 아키텍처를 미디어 기여, 인제스트, 분배 단계로 분류하고 각 단계에 프로토콜을 매핑한다.
• 콘텐츠 준비, 전달, 소비 지연으로 분해하여 엔드 투 엔드 지연을 분석한다.
• CMAF와 HTTP/1.1/HTTP/2/HTTP/3 (QUIC) 를 예로 들어 청크 인코딩/패키징 및 청크 전달을 논의한다.
• LL-DASH와 LL-HLS의 저지연 확장을 검토하고 이들의 운영적 함의를 논의한다.
• 실시간 프로토콜과 IETF MOQ 논의를 통해 상호작용성 및 실시간 측면을 요약한다.
• 실용적인 LLL 스트리밍 프로토타이핑 및 테스트 흐름을 설명하기 위해 Twitch의 대형 도전을 평가한다.

Figure 1 : Continuum of different E2E latency values. Latency values are not to scale.

실험 결과

연구 질문

• RQ1 현재 라이브 스트리밍 워크플로우에서 주요 지연 구성요소는 무엇이며 이들이 엔드 투 엔드 지연으로 어떻게 누적되는가?
• RQ2 DASH와 HLS의 저지연 확장들이 실용적 배치에서 엔드 투 엔드 지연을 어떻게 줄이는가?
• RQ3 실시간 스트리밍에 대해 10초 미만의 견고한 지연을 가능하게 하는 어떤 아키텍처 및 프로토콜 선택이 있는가?
• RQ4 실시간, 저지연 스트림을 배포하기 위한 Twitch의 대형 도전에서 어떤 교훈을 얻을 수 있는가?
• RQ5 저지연 라이브 스트리밍의 향후 방향 및 미해결 연구 문제는 무엇인가?

주요 결과

• LLL 스트리밍은 엔드 투 엔드 지연을 10초 미만으로, 이상적으로 약 5초를 목표로 한다.
• LL-DASH와 LL-HLS는 HAS를 청크 인코딩 및 전달로 확장하여 지연을 줄인다.
• CMAF와 청크 전달 인코딩은 DASH/HLS 전반에 걸쳐 저지연 전달을 가능하게 하는 핵심이다.
• HTTP/3 (QUIC) 및 서버 푸시 기능은 설정 및 가져오기 시간을 단축시켜 지연에 영향을 미칠 수 있으며; H2/H3 서버 푸시가 LLL 맥락에서 가능성을 보여 왔다.
• 저지연 구간, 적응형 비트레이트 및 버퍼 관리 전략은 인코더 예측 및 ABR 사다리와 함께 최적화되어 QoE와 지연의 균형을 맞춰야 한다.
• Twitch의 대형 도전은 엔드-투-엔드 LLL 스트리밍 프로토타이핑에 대한 모범 사례를 제공한다.

Figure 2 : A typical E2E live streaming architecture. The thickness of the arrows denotes the bitrate for that particular media stream (not to scale). There are usually multiple media streams (audio, video, metadata, subtitles, etc. ) acquired from the source (not shown).