[论文解读] Academic Torrents: Scalable Data Distribution

Henry Z. Lo, Joseph Cohen|arXiv (Cornell University)|Mar 14, 2016

Data Stream Mining Techniques被引用 6

一句话总结

Academic Torrents 提出了一种基于 HTTP 的数据分发 P2P 扩展，以降低大规模机器学习数据集的带宽成本并提高下载速度。通过利用用户对等节点作为数据源，它消除了服务器瓶颈，将上传成本最高降低 98%，并将下载时间从数天缩短至数小时——在 Reddit 数据上实现了 42 倍的上传-下载比率节省，在 ImageNet 上实现了 34 MB/s 的下载速度，相比 HTTP 的 500 KB/s 显著提升。

ABSTRACT

As competitions get more popular, transferring ever-larger data sets becomes infeasible and costly. For example, downloading the 157.3 GB 2012 ImageNet data set incurs about $4.33 in bandwidth costs per download. Downloading the full ImageNet data set takes 33 days. ImageNet has since become popular beyond the competition, and many papers and models now revolve around this data set. For sharing such an important resource to the machine learning community, the sharers of ImageNet must shoulder a large bandwidth burden. Academic Torrents reduces this burden for disseminating competition data, and also increases download speeds for end users. Academic Torrents is run by a pending nonprofit.. By augmenting an existing HTTP server with a peer-to-peer swarm, requests get re-routed to get data from downloaders. While existing systems slow down with more users, the benefits of Academic Torrents grow, with noticeable effects even when only one other person is downloading.

研究动机与目标

• 解决通过传统 HTTP 服务器分发大规模机器学习数据集所导致的不可持续的带宽成本和缓慢的下载速度问题。
• 减轻数据发布者在共享 ImageNet 和 Reddit 评论等大型数据集时所面临的财务和基础设施负担。
• 通过利用对等网络数据共享增加可用带宽源，提升终端用户的下载性能。
• 实现可扩展的、由社区驱动的数据分发，其可扩展性优于集中式 HTTP 模型。
• 通过提供一个可持续、低成本的平台，支持可复现研究，促进大型公共数据集的共享。

提出的方法

• 在现有 HTTP 服务器基础上扩展对等网络（P2P）群件架构，将数据分发至多个下载者。
• 使用基于 torrent 的文件共享协议，允许用户同时从多个对等节点下载数据，从而减轻原始服务器的负载。
• 采用去中心化的群件模型，每个下载者都可能成为数据源，随着更多用户加入，整体带宽可用性随之提升。
• 基于现有数据集（如 Reddit 评论）的实际上传/下载比率观测结果，进行真实世界的带宽成本预测。
• 利用实测下载速度（例如，Academic Torrents 上为 34 MB/s，而 HTTP 仅为 500 KB/s）来预测性能提升效果。
• 维护一个公开的数据集索引（截至论文发表时为 10.12 TB），并追踪包括月访问量和每日数据传输量在内的使用指标。

实验结果

研究问题

• RQ1 HTTP 的 P2P 扩展能否显著降低学术研究中大规模数据集分发的带宽成本？
• RQ2 与传统的客户端-服务器 HTTP 分发相比，对等网络共享如何提升下载速度？
• RQ3 实际应用中实现了怎样的上传-下载比率？该比率带来了多大的成本节省？
• RQ4 社区驱动的数据共享在多大程度上减轻了原始数据发布者的负担？
• RQ5 与集中式 HTTP 模型相比，Academic Torrents 的性能在用户数量增加时如何扩展？

主要发现

• Reddit 公开评论数据集实现了 42.067:1 的上传-下载比率，意味着每上传一个字节，就有额外 41 个字节来自对等节点。
• 对于 100 次下载，Academic Torrents 将上传带宽成本从 HTTP 的 $424.32 降低至 $10.09，节省了 97.6%。
• Academic Torrents 上的下载速度达到 34 MB/s，将 1.2 TB 的 ImageNet 数据下载时间从 HTTP 的 500 KB/s 下载速度下的 33 天缩短至仅 9.8 小时。
• 平台仅依靠一位种子用户上传 366.68 GB，却实现了总计 15.43 TB 的下载量，充分展示了社区的高参与度。
• 目前，Academic Torrents 每月服务 30,000 名独立访客，每日处理超过 900 GB 的数据传输，覆盖 10.12 TB 的索引数据集。
• 该系统具有良好的可扩展性：用户越多，可用带宽越高，从而逆转了集中式 HTTP 模型中常见的性能下降趋势。