[論文レビュー] A data Grid testbed environment in Gigabit WAN with HPSS

A. Manabe, Kohki Ishikawa+12 more|ArXiv.org|Jun 12, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 3

ひとこと要約

本論文は、SuperSINETの1-Gbpsネットワークを介してICEPPとKEKを接続する高パフォーマンスなデータグリッドテストベッドを提示し、LHCティアデータのスケーラブルなストレージソリューションとしてHPSSを統合している。NorduGridミドルウェアとGSI対応pftpを用いて、高速WAN上でのHPSSのパフォーマンスを評価した結果、レイテンシの影響によりWANアクセス速度はLAN速度の約半分に抑えられ、pftpdとディスクムーバーが異なるホスト上に配置されている場合のアーキテクチャ的ボトルネックを特定した。

ABSTRACT

For data analysis of large-scale experiments such as LHC Atlas and other Japanese high energy and nuclear physics projects, we have constructed a Grid test bed at ICEPP and KEK. These institutes are connected to national scientific gigabit network backbone called SuperSINET. In our test bed, we have installed NorduGrid middleware based on Globus, and connected 120TB HPSS at KEK as a large scale data store. Atlas simulation data at ICEPP has been transferred and accessed using SuperSINET. We have tested various performances and characteristics of HPSS through this high speed WAN. The measurement includes comparison between computing and storage resources are tightly coupled with low latency LAN and long distant WAN.

研究の動機と目的

• HPSSをスケーラブルなストレージソリューションとして用いて、大規模なHEPデータ処理に適した高速グリッドテストベッドを構築すること。
• スーパーサインETを介した高速WAN（SuperSINET）上でのHPSSパフォーマンスを、ローカルLAN環境と比較して評価すること。
• グリッド環境における安全でスケーラブルなデータアクセスを実現するため、GSI対応pftpを介してHPSSにグリッドセキュリティインフラストラクチャ（GSI）を統合すること。
• 特にpftpdとディスクムーバーが異なるホスト上に配置されている場合の、HPSSデータ転送におけるパフォーマンスボトルネックを特定すること。
• GSI対応pftpをHPSS-グリッド統合の一時的解決策としての実現可能性とパフォーマンスを評価すること。

提案手法

• ICEPPとKEKを1-Gbpsイーサーネットで接続し、SuperSINETを介して、NorduGridミドルウェアを用いたグリッドテストベッドを構築した。
• KEKに120TBのHPSSを設置し、ディスクムーバーとテープムーバーを備えた中央集約型ストレージシステムとして運用し、HPSS 4.3とpftpを用いてデータアクセスを実施した。
• TCP帯域幅とレイテンシを測定するnetperfと、ファイル転送速度を測定するHPSSクライアントAPIを用いて、エンドツーエンドのパフォーマンス測定を実施した。
• LBL提供のGSI対応pftpを、HPSSへのグリッド準拠インターフェースとして評価し、標準pftpおよびGridFTPと比較した。
• 2GBのファイルを用いて、LANおよびWAN環境での転送パフォーマンスを測定し、バッファサイズ、並列セッション数、データパス構成を変化させた。
• クライアント、ディスクムーバー、pftpdサーバー間の通信パターンを分析し、データフローにおけるパフォーマンスボトルネックを同定した。

実験結果

リサーチクエスチョン

• RQ1 高速グリッド環境下において、WANレイテンシはLAN環境と比較してHPSSデータ転送パフォーマンスにどのように影響を与えるか？
• RQ2 グリッド環境下でHPSSアクセスにGSI対応pftpを使用する場合、標準pftpと比較してパフォーマンスにどのような影響があるか？
• RQ3 pftpdサーバーとディスクムーバーを異なるホスト上に配置した場合、エンドツーエンドのデータ転送スループットにどのような影響があるか？
• RQ4 1-Gbps WAN上での同時マルチストリーム転送下におけるHPSSのスケーラビリティの限界は何か？
• RQ5 GSI対応pftpは、HPSSとグリッドインfraストラクチャを統合するための実用的かつ有効な一時的解決策として機能するか？

主な発見

• RTTが3–4 msであるにもかかわらず、パケットロスは0.1%未満と非常に少ないにもかかわらず、WAN環境下でのHPSS pftpおよびクライアントAPIのアクセス速度はLAN速度の約半分に抑えられた。
• TCPバッファサイズが0.5MBを超えるとネットワークスループットが飽和し、1MBを超えてバッファサイズを増大させてもさらなる向上は見られなかった。
• 最大4本の並列TCPストリームを用いることで、バッファサイズが100KBまでに達するまではスループットが向上したが、バッファサイズが1MBを超えると複数ストリームによる集約スループットに改善は見られなかった。
• GSI対応pftpは単一ストリーム環境では標準pftpと同等の転送時間を達成したが、pftpdとディスクムーバーが別々のホスト上に配置されている場合、二重のネットワークホップが発生し、転送速度が半分に低下した。
• GSI対応pftpのデータパスは、標準pftpとは異なり、ディスクムーバー → pftpd → クライアントの2つのネットワークホップを経るため、パフォーマンス劣化が生じた。
• HPSS 5.1に搭載されたpdata-pushプロトコルは、プロトコルハンドシェイクのレイテンシを低減することでパフォーマンス向上が見込めるが、テスト環境ではまだ利用可能ではなかった。