[論文レビュー] Toward One-Second Latency: Evolution of Live Media Streaming

Abdelhak Bentaleb, May Lim+4 more|arXiv (Cornell University)|Oct 5, 2023

Image and Video Quality Assessment被引用数 9

ひとこと要約

この論文は、低遅延配信に向けたライブメディア配信の進化を概説し、遅延源、アーキテクチャ、プロトコル、LL-DASHやLL-HLSといった拡張、そしてTwitchの大挑戦と将来の研究方向性について詳述する。

ABSTRACT

This survey presents the evolution of live media streaming and the technological developments behind today's IP-based low-latency live streaming systems. Live streaming primarily involves capturing, encoding, packaging and delivering real-time events such as live sports, live news, personal broadcasts and surveillance videos. Live streaming also involves concurrent streaming of linear TV programming off the satellite, cable, over-the-air or IPTV broadcast, where the programming is not necessarily a real-time event. The survey starts with a discussion on the latency and latency continuum in streaming applications. Then, it lays out the existing live streaming workflows and protocols, followed by an in-depth analysis of the latency sources in these workflows and protocols. The survey continues with the technology enablers, low-latency extensions for the popular HTTP adaptive streaming methods and enhancements for robust low-latency playback. An entire section is dedicated to the detailed summary and findings of Twitch's grand challenge on low-latency live streaming. The survey concludes with a discussion of ongoing research problems in this space. We expect this survey to be the one-stop reference for those who would like to learn how low-latency live streaming has evolved and works today, and what further developments could happen in the future.

研究の動機と目的

• ライブおよび低遅延ライブ配信の構成要素とそれらがエンドツーエンドの遅延に与える影響の包括的な解剖を提供する。
• 頑健で低遅延な再生を可能にする最先端技術と拡張を説明する。
• メディアコンテンツの準備、配信、消費の各段階における遅延源を分析する。
• 産業課題（例：Twitch）からの主要な知見を要約し、未解決の研究課題を整理する。

提案手法

• ライブ配信アーキテクチャをメディア寄与、取り込み、配布の各段階に分類し、各段階にプロトコルを対応付ける。
• エンドツーエンドの遅延を、コンテンツ準備、配信、消費の遅延に分解して分析する。
• CMAFとHTTP/1.1/HTTP/2/HTTP/3 (QUIC) を例に、チャンク化エンコード/パッケージングとチャンク化配信を検討する。
• DASH の低遅延拡張（LL-DASH）と HLS の低遅延拡張（LL-HLS）を検討し、それらの運用上の影響をレビューする。
• リアルタイムプロトコルと IETF MOQ の議論を通じた対話性とリアルタイム性の側面を要約する。
• 実践的な LLL 配信のプロトタイピングとテストフローを示すために、Twitch の grand challenge を評価する。

Figure 1 : Continuum of different E2E latency values. Latency values are not to scale.

実験結果

リサーチクエスチョン

• RQ1 現在のライブ配信ワークフローにおける主な遅延要素は何で、それらはエンドツーエンドの遅延にどう蓄積されるか？
• RQ2 DASHとHLSの低遅延拡張は、実際の展開においてエンドツーエンドの遅延をどのように低減するか？
• RQ3 ライブ配信で堅牢な10秒未満の遅延を実現するためのアーキテクチャとプロトコルの選択肢は何か？
• RQ4 リアルタイムで低遅延のストリームを展開する際に、Twitch の grand challenge からどんな教訓が得られるか？
• RQ5 低遅延ライブ配信における未解決の研究課題と今後の方向性は何か？

主な発見

• LLL 配信はエンドツーエンド遅延を10秒未満、理想的には約5秒程度を目標とする。
• LL-DASHとLL-HLSは、チャンク化エンコードと配信をHASに拡張して遅延を低減する。
• CMAFとチャンク転送エンコードは、DASH/HLS全体で低遅延配信を実現する中心要素である。
• HTTP/3 (QUIC)とサーバープッシュ機能は、セットアップとフェッチ時間を短縮することで遅延に影響を与える可能性がある。H2/H3のサーバープッシュはLLL文脈で潜在能力を示している。
• 低遅延セグメント、適応ビットレート、バッファ管理戦略は、エンコーダのルックアヘッドとABRラダーと協調最適化して、QoEと遅延のバランスを取る必要がある。
• Twitch の grand challenge は、エンドツーエンドの LLL 配信のプロトタイピングにおけるベストプラクティスの洞察を提供する。

Figure 2 : A typical E2E live streaming architecture. The thickness of the arrows denotes the bitrate for that particular media stream (not to scale). There are usually multiple media streams (audio, video, metadata, subtitles, etc. ) acquired from the source (not shown).