[論文レビュー] A Heuristic Approach to Protocol Tuning for High Performance Data Transfers

Engin Arslan, Tevfik Kosar|arXiv (Cornell University)|Aug 17, 2017

Advanced Data Storage Technologies参考文献 20被引用数 3

ひとこと要約

本稿では、広域ネットワークにおけるデータ転送スループットを最大化するために、アプリケーションレベルのプロトコルパラメータ—並列処理、パイipelニング、並行性—を動的に最適化する3つのヒューリスティックアルゴリズムを提案する。ネットワークおよびシステム状態に応じてこれらのパラメータを適応的に調整することで、ベースライン設定よりも最大10倍のスループットを達成し、最先端のソリューションよりも7倍の性能向上を実現。カーネルレベルの変更を一切不要としない点で、ネットワーク利用効率と転送効率を顕著に向上させる。

ABSTRACT

Obtaining optimal data transfer performance is of utmost importance to today's data-intensive distributed applications and wide-area data replication services. Doing so necessitates effectively utilizing available network bandwidth and resources, yet in practice transfers seldom reach the levels of utilization they potentially could. Tuning protocol parameters such as pipelining, parallelism, and concurrency can significantly increase utilization and performance, however determining the best settings for these parameters is a difficult problem, as network conditions can vary greatly between sites and over time. Nevertheless, it is an important problem, since poor tuning can cause either under- or over-utilization of network resources and thus degrade transfer performance. In this paper, we present three algorithms for application-level tuning of different protocol parameters for maximizing transfer throughput in wide-area networks. Our algorithms dynamically tune the number of parallel data streams per file (for large file optimization), the level of control channel pipelining (for small file optimization), and the number of concurrent file transfers to increase I/O throughput (a technique useful for all types of files). The proposed heuristic algorithms improve the transfer throughput up to 10x compared to the baseline and 7x compared to the state of the art solutions.

研究の動機と目的

• 高帯域幅のインfraが整備されているにもかかわらず、依然としてネットワーク帯域幅が十分に活用されていない問題に対処すること。
• ネットワークおよびシステム状態に応じて変動するため、最適なプロトコルパラメータ（並列処理、パイプライン処理、並行性）の設定を特定する課題を克服すること。
• サーバーやカーネルレベルの変更を必要としない、クライアント側で動作するユーザースペースのアルゴリズムを設計し、転送パフォーマンスを動的に最適化すること。
• 小規模および大規模ファイルを含む異種のデータセットに対して、適応的なパラメータ推定とスケジューリングを用いてスループットを向上させること。
• Globus Onlineのように静的かつ非適応的なパラメータ設定を採用する既存のソリューションを上回ること。

提案手法

• 提案されたアルゴリズムは、帯域幅およびRTTの測定に基づき、1ファイルあたりの並列データストリーム数の最適値を動的に推定する。
• 制御チャネルのパイプライン処理レベルのチューニングにヒューリスティック手法を用い、特に小規模ファイル転送において顕著な利点を示す。
• I/Oスループットとネットワークリソース利用効率のバランスを取るために、並行性レベルを適応的に調整する。
• 観察された転送パフォーマンスに基づき、リアルタイムでパラメータを調整するフィードバック駆動型のオンラインチューニングメカニズムを採用する。
• 空き状態のチャネルを継続中の小規模ファイル転送に再割り当てする戦略を実装し、無駄な待機時間を最小限に抑え、全体のスループットを向上させる。
• 実データおよび合成データセットを用い、広域および局所ネットワークの多様なトポロジーと、さまざまなファイルサイズ分布を持つ環境でアルゴリズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 広域ネットワークにおけるデータ転送スループットを最大化するために、並列処理、パイプライン処理、並行性といったプロトコルパラメータをどのように動的にチューニングできるか。
• RQ2 ファイルサイズの多様性が、特に小規模ファイルが優勢なデータセットにおいて、動的パラメータチューニングの有効性に与える影響は何か。
• RQ3 Globus Onlineのようなシステムで採用される静的設定と比較して、適応的パラメータ設定がスループットおよびネットワーク利用効率においてどのように差をつけるか。
• RQ4 ヒューリスティックに基づくパラメータ推定は、多様なネットワーク環境およびシステム構成において、どれほど転送パフォーマンスを向上させ得るか。
• RQ5 TCPバッファサイズがスループットを制限する要因として果たす役割は何か。また、並行性を活用することで、バッファ関連のボトルネックをどのように緩和できるか。

主な発見

• 提案されたアルゴリズムは、ベースライン設定と比較して最大10倍、Globus Onlineのような最先端のソリューションと比較して最大7倍のスループットを達成する。
• ダークエネルギー調査（Dark Energy Survey）データセットにおいて、MCおよびProMCは最大8.6 Gbpsを達成し、特に高並列設定下で他の手法を顕著に上回る。
• 小規模ファイルが優勢なゲノムシーケンシングデータセットでは、MCおよびProMCが1.5–3.5 Gbpsを達成し、ProMCは小規模ファイルのチャネル割り当ての優位性により、MCを最大10%上回る。
• 局所ネットワーク実験では、Globus Onlineはわずか500 Mbpsにとどまったが、提案されたアルゴリズムは2 Gbps以上を達成し、クライアント・サーバー間通信の高負荷が性能差を生じさせていることを示している。
• アルゴリズムは、並行性の増加により、最適でないTCPバッファサイズの影響を効果的に緩和しており、蓄積的なバッファ領域の増加によりスループットが向上する。
• 多様なネットワークトポロジおよびファイルサイズ分布にわたり、性能向上が一貫して得られていることから、ヒューリスティックチューニング手法の強靭性が裏付けられている。