[論文レビュー] Worldwide Fast File Replication on Grid Datafarm

Osamu Tatebe, Satoshi Sekiguchi+3 more|ArXiv.org|Jun 14, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 15

ひとこと要約

本稿では、グリッドデータファームアーキテクチャを用いて、地理的に分散したクラスタ間で、高速TCPとネットワークストリーピング、およびレート制御付き並列ストリームを活用したペタスケールデータ集約型コンピューティング向けに、高性能なファイルレプリケーションシステムを提案する。4ノードずつのサイトで使用した場合、太平洋を越えるレプリケーションにおいて平均741 Mbpsの帯域幅を達成し、長距離かつ高バンド幅・遅延ネットワークにおいてスケーラブルで安定した性能を示した。

ABSTRACT

The Grid Datafarm architecture is designed for global petascale data-intensive computing. It provides a global parallel filesystem with online petascale storage, scalable I/O bandwidth, and scalable parallel processing, and it can exploit local I/O in a grid of clusters with tens of thousands of nodes. One of features is that it manages file replicas in filesystem metadata for fault tolerance and load balancing. This paper discusses and evaluates several techniques to support long-distance fast file replication. The Grid Datafarm manages a ranked group of files as a Gfarm file, each file, called a Gfarm file fragment, being stored on a filesystem node, or replicated on several filesystem nodes. Each Gfarm file fragment is replicated independently and in parallel using rate-controlled HighSpeed TCP with network striping. On a US-Japan testbed with 10,000 km distance, we achieve 419 Mbps using 2 nodes on each side, and 741 Mbps using 4 nodes out of 893 Mbps with two transpacific networks.

研究の動機と目的

• ペタスケールのデータ集約型ワークロード向けに、グローバルなグリッドインfra構造上で、効率的でスケーラブルかつフェイルセーフなファイルレプリケーションを実現すること。
• 地理的に分散したクラスタ間の長距離データレプリケーションにおける、高バンド幅・遅延積（BDP）ネットワークの課題に対処すること。
• 個々のストレージノードのI/Oボトルネックを、ネットワークストリーピングと最適化されたTCPコネセッション制御の組み合わせで克服すること。
• アプリケーションレベルのレート制御と高速TCPを用いて、U.S.-Japan間などの太平洋を越えるリンクにおいて、安定した高スルーレートのレプリケーションを達成すること。
• SC2002で運用された大規模なテストベッドを用いて、実世界の条件下でのファイルレプリケーションの性能を評価すること。

提案手法

• フェデレーテッドローカルストレージを備えた数万のクラスタノードにまたがるグローバル並列ファイルシステムを仮想化するため、グリッドデータファームアーキテクチャを用いる。
• 障害耐性と負荷分散を実現するため、メタデータシステムを介して複数のファイルシステムノードに分散されたGfarmファイル断片の位置を追跡する。
• 複数のTCPストリームを用いた並列かつ独立したGfarmファイル断片のレプリケーションを実装し、複数ノードにまたがるネットワークストリーピングを適用する。
• 大容量のコネセッションウィンドウを想定した環境で、効果的なスルーレートの上昇と公平性を向上させるために、高速TCPを採用する。
• ATMベースの太平洋を越えるリンクにおいて、高速TCP単体では不十分であったため、アプリケーションレベルのレート制御を導入してスルーレートの安定化を図る。
• 1Uサーバー（4台の120GB IDEディスク）にRAID-0ストリーピングを適用し、1 Gbpsのネットワーク帯域幅と同等のディスクI/O性能（約110 MB/s）を達成する。

実験結果

リサーチクエスチョン

• RQ1 長距離かつ高バンド幅・遅延積ネットワーク（例：太平洋間リンク）において、ファイルレプリケーションの性能をどのように最大化できるか？
• RQ2 ペタスケールのデータグリッドにおいて、安定した高スルーレートのレプリケーションを達成するために、高速TCPは果たすどのような役割を果たすか？
• RQ3 複数の並列TCPストリームを用いたネットワークストリーピングは、単一ストリーム伝送と比較して、どれほどレプリケーション帯域幅を向上させるか？
• RQ4 ATMベースの長距離リンク上で高速TCPを用いる場合、アプリケーションレベルのレート制御は、スルーレートの安定性と性能にどのように影響を与えるか？
• RQ5 SC2002グリッドデータファームのような実世界の大規模国際テストベッドでは、どの程度のレプリケーション帯域幅を達成できるか？

主な発見

• 1万kmの距離を有する米国-日本間のテストベッドにおいて、1サイトあたり2ノードで419 Mbps、4ノードで741 Mbpsを達成。理論ピークの893 Mbpsに近い性能を示した。
• SC2002会場での12ノード運用では、10秒平均帯域幅が1.40 Gbps（送出）および0.526 Gbps（受信）を記録し、合計1.926 Gbpsを達成した。
• 0.1秒平均測定では、ピーク帯域幅が1.691 Gbps（送出）および0.595 Gbps（受信）に達し、合計2.286 Gbpsを記録した（12ノードで）。
• OC-12 POSネットワークでは高速TCPが良好に機能し、1ノードペアから2ストリームで5秒平均で529 Mbpsを達成した。
• OC-12 ATMネットワークでは、高速TCP単体では不十分であったため、アプリケーションレベルのレート制御がスルーレートの安定化と最大化に不可欠であった。
• ネットワークストリーピング、高速TCP、およびレート制御の組み合わせにより、複数の太平洋を越えるルートで安定的かつスケーラブルなレプリケーションが可能になった。北ルート（AIST N）では44.0 MB/s、南ルート（AIST S）では10.6 MB/sを1ノードペアあたり16ストリームで達成した。