[論文レビュー] TeraScale SneakerNet: Using Inexpensive Disks for Backup, Archiving, and Data Exchange

Jim Gray, Wyman Chong+3 more|ArXiv.org|Aug 7, 2002

Image Processing and 3D Reconstruction被引用数 32

ひとこと要約

本論文では、1GHzプロセッサ、1GB RAM、GbE、1TBディスクを備えた安価で自己完結型のストレージブロック（1ユニットあたり約2,000ドル）を用いて、テラバイトスケールのデータセットを効率的かつ低コストで転送するTeraScale SneakerNetを提案する。このシステムは、広域ネットワークに依存するのではなく、物理的なディスクの配送により、バックアップ、アーカイブ、データ交換を効率的に行う。スローンデジタルスカイサーベイ（Sloan Digital Sky Survey）による大西洋を越えたデータ転送の実世界での検証がなされている。

ABSTRACT

Large datasets are most economically trnsmitted via parcel post given the current economics of wide-area networking. This article describes how the Sloan Digital Sky Survey ships terabyte scale datasets both within the US and to Europe and Asia. We 3GT storage bricks (Ghz processor, GB ram, GbpsEthernet, TB disk) for about 2k$ each. These bricks act as database servers on the LAN. They are loaded at one site and read at the second site. The paper describes the bricks, their economics, and some software issues that they raise.

研究の動機と目的

• 広域ネットワークを介した大規模データセットの転送における高コストと非効率性に対処すること。
• テラバイトスケールのデータセットのバックアップ、アーカイブ、データ交換のためのスケーラブルで低コストなソリューションを開発すること。
• 高価ではない自己完結型ストレージブロックを用いた大容量データ転送の実現可能性とパフォーマンスを評価すること。
• 物理的データ転送（"スニーカーネット"）が大規模な科学的データ配布において実用的であることを示すこと。

提案手法

• 1GHzプロセッサ、1GB RAM、GbE、1TBディスクを備えた3GTストレージブロックを設計・導入し、1ユニットあたり約2,000ドルのコストを実現する。
• 各ブロックをローカルエリアネットワーク（LAN）上でのスタンドアロンデータベースサーバーとして運用し、データをソースサイトでロードする。
• 物理的ディスクを通常の宅配便で宛先サイトに配送し、データのアクセスと統合を可能にする。
• データのロード、整合性チェック、ネットワークアクセスを管理するソフトウェアスタックを実装する。
• 宛先サイトでの既存のネットワークインfrastrucureを活用し、配送されたディスクからのデータ読み取りと利用を可能にする。
• スローンデジタルスカイサーベイが米国および国際的なサイトにデータを転送した実世界のデータ転送を用いて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 安価で自己完結型のストレージブロックは、テラバイトスケールのデータセットを低コストで転送可能であるか？
• RQ2 大規模データセットの転送において、物理的データ転送と広域ネットワーク伝送のコストとパフォーマンスはどのように比較されるか？
• RQ3 分散型の科学的環境にこのようなシステムを展開するにあたり、実用的な課題とソフトウェア要件は何か？
• RQ4 このアプローチは、大規模科学的データセットの定期的かつ信頼性の高いバックアップとアーカイブをサポートできるか？

主な発見

• TeraScale SneakerNetアプローチにより、テラバイトスケールのデータセットを広域ネットワークに依存せずに効果的に転送するコストが削減された。
• 1台あたりのストレージブロックのコストは約2,000ドルであり、スタンドアロンのデータベースサーバーとして機能するのに十分な処理能力、メモリ、ストレージ容量を備えている。
• このシステムは、スローンデジタルスカイサーベイの米国サイトとヨーロッパ・アジアの国際的パートナー間でのデータ交換を成功裏に実現した。
• バックアップ、アーカイブ、データ交換の分野で有効であることが実証され、大規模な科学的データ配布における実用性が示された。