[論文レビュー] Performance evaluation of the GridFTP within the NorduGrid project

M. Ellert, Александр Константинов+3 more|ArXiv.org|May 14, 2002

Distributed and Parallel Computing Systems参考文献 1被引用数 5

ひとこと要約

本論文は、NorduGridインfraストラクチャ内におけるマルチスレッド型GridFTPの性能を評価し、シングルスレッドFTPと比較して、並列転送によりデータスループットが600–800%向上することを示している。高速WANリンクを介したGlobus ToolkitのGridFTP実装を用いた研究では、特に高容量ネットワークにおいて、並列ストリームが転送効率を顕著に向上させることを確認した。100件の並列スレッドまで安定した性能を発揮した。

ABSTRACT

This report presents results of the tests measuring the performance of multi-threaded file transfers, using the GridFTP implementation of the Globus project over the NorduGrid network resources. Point to point WAN tests, carried out between the sites of Copenhagen, Lund, Oslo and Uppsala, are described. It was found that multiple threaded download via the high performance GridFTP protocol can significantly improve file transfer performance, and can serve as a reliable data

研究の動機と目的

• 複数のスウェーデン・ノルウェーのサイトをカバーする実際のグリッドインfraストラクチャにおいて、Globus GridFTPプロトコルの性能を評価すること。
• 標準FTPおよびシングルスレッド型GridFTPと比較して、マルチスレッド型データ転送がスループットを顕著に向上させるかどうかを評価すること。
• 本番環境に近い条件下でGridFTPの性能に影響を与えるネットワークおよびハードウェアのボトルネックを同定すること。
• 高並列処理負荷下でのGridFTPのalphaリリース版の信頼性と安定性をテストすること。
• 第三者（サーバー間）転送機能の性能とスケーリング特性を評価すること。

提案手法

• Copenhagen, Lund, Oslo, Uppsalaの4つのNorduGridサイト間で、globus-url-copyクライアントとgsi-wuftpd GridFTPサーバーを用いて、ポイントツーポイントのWAN転送を実施した。
• 10 Mbit/sから1 Gbit/sまでの異なるリンク速度とルート数（ホップ数）を持つ複数のネットワーク経路を用い、100 MBファイルの転送スループットを測定した。
• スレッド数を1から32に変化させ、スケーリング特性を評価した。システムパラメータのチューニングを行わず、デフォルトのTCP設定を使用した。
• コントローラーサイト（Copenhagen）が、2つのリモートサーバー（LundとUppsala）間で直接データ移動を制御する第三者転送を実施した。
• スレッド数の増加に伴い、安定性と信頼性を監視した。特に100件を超えるスレッド数での動作を重点的に評価した。
• Globus Toolkit™ 1.1.3b14とGridFTP alpha-4リリースを使用。GSI認証および並列転送機能を有効化した。

実験結果

リサーチクエスチョン

• RQ1 マルチスレッド型GridFTPは、高速WANを介したシングルスレッドFTPおよびGridFTPと比較して、どの程度データ転送性能を向上させるか？
• RQ2 ネットワークのレイテンシー、帯域幅、ハードウェア構成（例：LAN速度）は、GridFTPのスループットとスケーラビリティにどのように影響するか？
• RQ3 第三者転送は直接転送と同等の性能を達成できるか？また、スレッド数の増加に伴い、どのようにスケーリングするか？
• RQ4 高並列処理状態で、GridFTPのalphaリリース版の安定性の限界はどこか？
• RQ5 並列ストリームの使用により、高帯域幅・長距離データ転送においてTCPバッファチューニングの必要性がなくなるか？

主な発見

• マルチスレッド型GridFTPは、シングルスレッド転送と比較して600–800%の性能向上を達成した。Lund–Copenhagenリンクでは、32スレッドを使用した場合、スループットが約7 Mbit/sから約30 Mbit/sに向上した。
• 15のルーター経由のLund–Copenhagenリンクで、32本の並列スレッドを用いることで最大30 Mbit/sのスループットを達成し、利用可能な帯域幅を効果的に活用していることが示された。
• Copenhagenをコントローラーとして、LundとUppsala間の第三者転送は、32スレッドで50–55 Mbit/sのスループットを達成し、直接転送と同等の性能を発揮した。
• オスロの10 Mbit/s LANが顕著なボトルネックとなっており、並列スレッドを用いてもスループットは理論最大値に近い水準に留まった。
• 100件を超える並列スレッドで安定性の問題が発生し、起動フェーズの凍結や最終データ取得時の再起動が確認された。これは、高並列処理状態での信頼性に懸念があることを示唆した。
• alphaリリースであるにもかかわらず、通常のワークロードでは安定した動作を示した。極端なスレッド数でのわずかな不安定性は観察されたが、全体としての信頼性は高い水準を維持した。