[论文解读] Algorithms for Constructing Overlay Networks For Live Streaming

Konstantin Andreev, Bruce M. Maggs+3 more|arXiv (Cornell University)|Sep 19, 2011

Peer-to-Peer Network Technologies参考文献 45被引用 15

一句话总结

本文提出了一种多项式时间近似算法，用于构建用于直播流媒体的低成本、高可靠性的覆盖多播网络。该方法将三层架构（源节点、反射节点、接收节点）建模为已知丢包率的网络，保证近似最优性能——在容量和可靠性方面与最优解相差常数因子，在成本方面相差至多2倍，同时可高效扩展至大规模网络。

ABSTRACT

We present a polynomial time approximation algorithm for constructing an overlay multicast network for streaming live media events over the Internet. The class of overlay networks constructed by our algorithm include networks used by Akamai Technologies to deliver live media events to a global audience with high fidelity. We construct networks consisting of three stages of nodes. The nodes in the first stage are the entry points that act as sources for the live streams. Each source forwards each of its streams to one or more nodes in the second stage that are called reflectors. A reflector can split an incoming stream into multiple identical outgoing streams, which are then sent on to nodes in the third and final stage that act as sinks and are located in edge networks near end-users. As the packets in a stream travel from one stage to the next, some of them may be lost. A sink combines the packets from multiple instances of the same stream (by reordering packets and discarding duplicates) to form a single instance of the stream with minimal loss. Our primary contribution is an algorithm that constructs an overlay network that provably satisfies capacity and reliability constraints to within a constant factor of optimal, and minimizes cost to within a logarithmic factor of optimal. Further in the common case where only the transmission costs are minimized, we show that our algorithm produces a solution that has cost within a factor of 2 of optimal. We also implement our algorithm and evaluate it on realistic traces derived from Akamai's live streaming network. Our empirical results show that our algorithm can be used to efficiently construct large-scale overlay networks in practice with near-optimal cost.

研究动机与目标

• 解决在丢包网络路径上构建可扩展、可靠且低成本的覆盖多播网络的挑战。
• 将覆盖网络构建问题形式化为具有容量、可靠性和成本目标的约束优化任务。
• 设计一种可扩展至大规模网络的高效近似算法，以应对直播流媒体中常见的动态网络条件。
• 即使在不同丢包率和网络拓扑下，也确保解的质量相对于最优解具有理论保证。
• 在来自Akamai生产直播流媒体基础设施的真实数据 trace 上验证该算法的实际可行性与性能表现。

提出的方法

• 将覆盖网络建模为三阶段系统：源节点（入口点）、反射节点（中间节点，负责流的复制）和接收节点（靠近最终用户的边缘节点）。
• 假设节点对之间的丢包率已知且相互独立，并将流传输建模为带有可靠性约束的流问题。
• 将问题形式化为混合整数线性规划（MILP），并设计一种多项式时间近似算法（Approx）以高效求解。
• 采用贪心的分层构建方法，优先最小化成本，同时满足可靠性和容量约束。
• 在Akamai直播流媒体网络的真实 trace 上实现并评估该算法，与精确求解器（IP）及一种变体（Approxhack）进行对比。
• 提出一种混合策略：在低丢包场景下使用精确求解器，在高丢包或大规模场景下使用Approx算法。

实验结果

研究问题

• RQ1 能否设计一种高效、多项式时间的算法，用于构建直播流媒体的覆盖多播网络，且能可证明地满足容量和可靠性约束？
• RQ2 在高丢包条件下，此类算法在成本方面能接近最优解多远？
• RQ3 在扩展至大规模网络拓扑时，解的质量与运行时间之间存在何种权衡？
• RQ4 该算法能否在源自生产系统的实际大规模网络 trace 上保持近似最优性能？
• RQ5 是否存在一种可行的混合方法，可根据网络条件（如丢包率）和规模，结合精确方法与近似方法？

主要发现

• 所提出的Approx算法在仅最小化传输成本的常见情况下，构建的覆盖网络成本与最优解相差至多2倍。
• 在高丢包网络中，Approx优于精确求解器（IP）和优化变体（Approxhack），在3小时13分钟内求解了$42\times44\times100$规模的网络，而IP在18小时内未能完成。
• Approx可扩展至大规模网络（如$50\times44\times80$），而IP或Approxhack均无法求解，证明其在真实世界部署中的实际可行性。
• 在低丢包场景下，精确求解器（IP）可行且生成的解优于Approx，表明混合策略具有可行性。
• 即使在动态和高丢包的互联网环境下，该算法仍能将可靠性和容量约束保持在最优解的常数倍范围内。
• 实证结果证实，Approx在显著降低运行时间的同时实现了近似最优成本，使其成为大规模或高丢包环境下的唯一可行选择。