[論文レビュー] Distributed Computing Economics

Jim Gray|ArXiv.org|Mar 12, 2004

Distributed and Parallel Computing Systems被引用数 30

ひとこと要約

この論文は、計算、ストレージ、ネットワークリソースの間で現在、ほぼ同等のコストが達成されていること（100,000命令あたり、10バイトのネットワークトラフィック、10バイトのディスクストレージ、1メガバイトのディスク帯域幅あたりのコストがほぼ同等）を活用して、インターネット規模の分散コンピューティングにおけるパラダイム転換を提案する。高価なネットワーク転送を最小限に抑えるために、計算をデータにできるだけ近い場所に配置することを提唱し、効率性を高めるためにシステムアーキテクチャを根本的に再設計する。

ABSTRACT

Computing economics are changing. Today there is rough price parity between (1) one database access, (2) ten bytes of network traffic, (3) 100,000 instructions, (4) 10 bytes of disk storage, and (5) a megabyte of disk bandwidth. This has implications for how one structures Internet-scale distributed computing: one puts computing as close to the data as possible in order to avoid expensive network traffic.

研究の動機と目的

• インターネット規模の分散コンピューティングシステムにおける経済的トレードオフの変化を分析すること。
• データベースアクセス、ネットワークトラフィック、命令、ディスクストレージ、ディスク帯域幅といった主要な計算リソース間の現在の価格同等性を特定すること。
• 高価なネットワーク通信を最小限に抑えることで、分散システムにおけるアーキテクチャ的意思決定を導くこと。
• ネットワークオーバーヘッドを削減するために、データローカル計算への設計的パラダイムの転換を提唱すること。
• 大規模な分散環境におけるシステム設計の定量的基盤を提供すること。

提案手法

• 1回のデータベースアクセス、10バイトのネットワークトラフィック、100,000命令、10バイトのディスクストレージ、1メガバイトのディスク帯域幅という5つの主要なシステムリソース間のコスト同等性モデルを確立すること。
• 2000年代初頭の実証的コストデータを用いて、多様な計算およびネットワーキング操作間の近似価格同等性を導出すること。
• 経済的推論を分散システム設計に適用し、ネットワーク転送を最も高価な操作とみなすこと。
• 計算をデータと同一場所に配置することでネットワークトラフィックを最小限に抑えるアーキテクチャパターンを推奨すること。
• マイクロソフトリサーチの社内コストデータと業界動向を用いて、経済モデルの妥当性を検証すること。
• コスト最小化に基づく設計原則を策定し、リモートアクセスよりもデータローカル計算を優先すること。

実験結果

リサーチクエスチョン

• RQ1 分散コンピューティングにおける基本的処理（たとえば、データベースアクセス、ネットワーク転送、ディスクI/O）の相対的コストは現在どの程度か？
• RQ2 計算、ストレージ、ネットワークリソース間の価格同等性が、システムアーキテクチャ意思決定にどのように影響を与えるか？
• RQ3 ネットワーク帯域幅が最も高価なリソースである場合、総システムコストを最小限に抑えるためのアーキテクチャ戦略は何か？
• RQ4 計算をデータに近づけることで、パフォーマンスとスケーラビリティをどの程度向上させられるか？
• RQ5 経済的原則をどのように体系的に適用することで、スケーラブルでコスト効率の良い分散システムを設計できるか？

主な発見

• 1回のデータベースアクセス、10バイトのネットワークトラフィック、100,000命令、10バイトのディスクストレージ、1メガバイトのディスク帯域幅の間には、概ね価格同等性が成立している。
• ネットワークトラフィックは単位あたり最も高価な操作であり、分散システムにおける最優先最適化対象である。
• コスト同等性は、ネットワーク転送を最小限に抑えることで、最大のパフォーマンスおよびコストメリットが得られることを示唆している。
• インターネット規模のシステムでは、計算をデータにできるだけ近い場所に配置することが、総システムコストを最小限に抑える最適な戦略である。
• この経済モデルは、データローカル計算をリモート計算よりも優先するシステム設計の定量的基盤を提供する。
• 研究結果は、データ中心の計算に向けた分散システムアーキテクチャの根本的転換を支持する。