[論文レビュー] Academic Torrents: Scalable Data Distribution

Henry Z. Lo, Joseph Cohen|arXiv (Cornell University)|Mar 14, 2016

Data Stream Mining Techniques被引用数 6

ひとこと要約

Academic Torrentsは、大規模な機械学習データセットの配布における帯域幅コストを削減し、ダウンロード速度を向上させるために、HTTPベースのデータ配布にピアツーピア（P2P）拡張を提案する。ユーザーのピアをデータソースとして活用することで、サーバーのボトルネックを回避し、アップロードコストを最大98％まで削減し、ダウンロード時間を数日から数時間に短縮する。Redditデータでは42倍のアップロード対ダウンロード比の節約が実証され、ImageNetではHTTPの500 KB/sと比較して34 MB/sの速度が達成された。

ABSTRACT

As competitions get more popular, transferring ever-larger data sets becomes infeasible and costly. For example, downloading the 157.3 GB 2012 ImageNet data set incurs about $4.33 in bandwidth costs per download. Downloading the full ImageNet data set takes 33 days. ImageNet has since become popular beyond the competition, and many papers and models now revolve around this data set. For sharing such an important resource to the machine learning community, the sharers of ImageNet must shoulder a large bandwidth burden. Academic Torrents reduces this burden for disseminating competition data, and also increases download speeds for end users. Academic Torrents is run by a pending nonprofit.. By augmenting an existing HTTP server with a peer-to-peer swarm, requests get re-routed to get data from downloaders. While existing systems slow down with more users, the benefits of Academic Torrents grow, with noticeable effects even when only one other person is downloading.

研究の動機と目的

• 従来のHTTPサーバーを用いた大規模な機械学習データセットの配布に伴う持続不可能な帯域幅コストと遅いダウンロード速度を解決すること。
• ImageNet やRedditコメントのような大規模なデータセットを共有するデータパブリッシャーの財政的・インfraストラクチャ的負担を軽減すること。
• ピアツーピアのデータ共有を活用することで、エンドユーザーのダウンロードパフォーマンスを向上させ、利用可能な帯域幅の供給源を増やすこと。
• ユーザー数の増加に伴い中央集権的なHTTPモデルよりも効果的にスケーリングできる、コミュニティ主導のデータ配布を可能にすること。
• 再現可能性のある研究を支援するため、大規模な公開データセットを低コストで持続可能なプラットフォームで共有できるようにすること。

提案手法

• 既存のHTTPサーバーにピアツーピア（P2P）スワームアーキテクチャを追加し、複数のダウンローダー間でデータを分散配布する。
• トーレントベースのファイル共有プロトコルを活用し、ユーザーが同時に複数のピアからデータをダウンロードできるようにすることで、元のサーバーへの負荷を軽減する。
• 分散型スワームモデルを採用し、各ダウンローダーが潜在的なデータソースとなることで、ユーザーが増えるほど全体の帯域幅利用可能性が向上する。
• 既存のデータセット（例：Redditコメント）から観察されたアップロード/ダウンロード比に基づいて、実際の帯域幅コストの予測を行う。
• 測定されたダウンロード速度（例：Academic Torrentsでは34 MB/s、HTTPでは500 KB/s）を基に、パフォーマンスの向上を予測する。
• 公開インデックス（本論文時点で10.12 TB）を維持し、月間訪問者数や1日あたりのデータ転送量といった使用メトリクスを追跡する。

実験結果

リサーチクエスチョン

• RQ1 HTTPにP2P拡張を導入することで、学術研究における大規模データセット配布の帯域幅コストを顕著に削減できるか？
• RQ2 従来のクライアント・サーバーHTTP配布と比較して、ピアツーピア共有はどのようにダウンロード速度を向上させるか？
• RQ3 実際の運用で達成されたアップロード対ダウンロード比はどの程度で、それがどのようなコスト削減をもたらすか？
• RQ4 コミュニティ主導のデータ共有は、元のデータパブリッシャーの負担をどの程度軽減できるか？
• RQ5 Academic Torrentsのパフォーマンスは、中央集権的なHTTPモデルと比較して、ユーザー数の増加に伴いどのようにスケーリングするか？

主な発見

• Redditの公開コメントデータセットでは、アップロード対ダウンロード比が42.067:1に達し、1バイトのアップロードに対して41バイトのピアからのデータ供給が得られた。
• 100回のダウンロードにおいて、Academic TorrentsはHTTPの$424.32から$10.09にアップロード帯域幅コストを削減し、97.6％のコスト削減を達成した。
• Academic Torrentsでは34 MB/sのダウンロード速度が達成され、1.2 TBのImageNetデータをHTTPの500 KB/sでダウンロードする場合の33日間（約1320時間）から、わずか9.8時間に短縮された。
• 1人のシーダーが366.68 GBのアップロードのみで、合計15.43 TBのダウンロードが実現した。これは、コミュニティの貢献度の高さを示している。
• Academic Torrentsは現在、月間30,000人のユニークな訪問者を抱え、10.12 TBのインデックス済みデータセットを対象に、1日あたり900 GB以上のデータ転送を処理している。
• システムは効果的にスケーリング可能である：ユーザーが増えるほど帯域幅の可用性が向上し、HTTPモデルで見られるパフォーマンス劣化が逆転する。