[論文レビュー] BlobSeer: How to Enable Efficient Versioning for Large Object Storage under Heavy Access Concurrency

Bogdan Nicolae, Gabriel Antoniu+1 more|ArXiv.org|May 7, 2009

Advanced Data Storage Technologies参考文献 11被引用数 5

ひとこと要約

BlobSeer は、DHT に基づく分散セグメント木を用いたメタデータ管理により、高並列性を持つ P2P 環境における大規模バイナリオブジェクト（ブロブ）のスケーラブルで分散型のバージョニング方式を提案する。既存のデータページを変更するのではなく、新しいデータページを作成し、メタデータを織り交ぜてバージョン管理されたビューを維持することで、最小限のメタデータオーバーヘッドで高いスループットを達成し、175 ノードおよび 64 GB のブロブサイズでも、重い並列アクセス下でも安定した帯域幅を示している。

ABSTRACT

To accommodate the needs of large-scale distributed P2P systems, scalable data management strategies are required, allowing applications to efficiently cope with continuously growing, highly dis tributed data. This paper addresses the problem of efficiently stor ing and accessing very large binary data objects (blobs). It proposesan efficient versioning scheme allowing a large number of clients to concurrently read, write and append data to huge blobs that are fragmented and distributed at a very large scale. Scalability under heavy concurrency is achieved thanks to an original metadata scheme, based on a distributed segment tree built on top of a Distributed Hash Table (DHT). Our approach has been implemented and experimented within our BlobSeer prototype on the Grid'5000 testbed, using up to 175 nodes.

研究の動機と目的

• 非常に大きな可変バイナリオブジェクト（ブロブ）を、高並列性を持つ分散 P2P システムで効率的に管理・バージョニングする課題に対処すること。
• 一般のストレージノードに分散配置された巨大なブロブに対して、並列読み取り、書き込み、追加操作をサポートすること。
• スケーラビリティを確保しつつ、メタデータのオーバーヘッドを最小限に抑え、高いパフォーマンスを維持しながら、排他性とバージョンの一貫性を保証すること。
• 新しいデータページのみを保存し、メタデータの織り交ぜによって過去および現在のブロブ状態を表現することで、空間効率の高いバージョニングを実現すること。
• データサイズおよび並列クライアント数の増加に伴いスケーリング可能な分散型メタデータアーキテクチャを設計すること。

提案手法

• 大規模なブロブを固定サイズのページに分割し、P2P ネットワーク内の一般のデータプロバイダに分散配置する。
• 分散セグメント木データ構造（DHT を基盤に構築）を用いて、バージョニングアクセスのメタデータを管理する。
• メタデータのストレージとアクセスを分散化することで、ボトルネックを回避し、同期なしの並列処理を可能にする。
• クライントがデータを書き込みまたは追加する際、既存のページを上書きするのではなく、新しいデータページを生成することで、以前のバージョンの不変性を保つ。
• 新しいメタデータと古いメタデータを織り交ぜて、ブロブの現在および歴史的状態の完全な仮想ビューを構築する。
• データプロバイダとメタデータプロバイダを同じノードに配置することで、並列アクセス時のネットワーク遅延を低減し、I/O の並列性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分散型 P2P システムにおいて、高並列アクセス下でも非常に大きな可変ブロブのバージョニングを効率的に行うにはどうすればよいか？
• RQ2 クライアント数およびブロブサイズが増加する状況で、スケーラビリティが高く、パフォーマンスオーバーヘッドが低いメタデータ管理戦略とは何か？
• RQ3 DHT 上に構築された分散セグメント木は、中央集権的な調整なしに、原子的かつ一貫性のある並列アクセスをバージョニングブロブに対して可能にするか？
• RQ4 ブロブのサイズが増大し、並列性が高くなるに従い、メタデータのオーバーヘッドが追加および読み取り操作の帯域幅にどの程度影響を与えるか？
• RQ5 同じブロブの異なる部分に並列してアクセスするクライアント数が増加する状況で、システムの性能はどのように変化するか？

主な発見

• APPEND 操作は、ブロブが 64 GB にまで拡大しても高い帯域幅を維持し、ページ数が 2 のべき乗に達する際のわずかな低下が観察されるのみで、メタデータのスケーリングが予測可能であることが示された。
• 175 ノードで、平均読み取り帯域幅は 1 クライアントの 60 MB/s から 175 並列リーダーの 49 MB/s にわずかに低下するにとどまり、高リーダー並列性下でも強力なスケーラビリティを示した。
• 64 KB および 256 KB の異なるページサイズにおいても、システムは安定したパフォーマンスを維持しており、粒度に関係なく低メタデータオーバーヘッドであることが確認された。
• 分散メタデータ方式により、データとメタデータへのアクセスが同期なしに独立して並列処理可能となり、重い負荷下でもスループットが著しく向上した。
• Grid’5000 テストベッド上でのプロトタイプ実装により、最大 175 ノードおよび大規模ブロブワークロードを用いた場合でも、このアプローチの実現可能性とスケーラビリティが確認された。
• 新しいデータページのみを保存し、メタデータの織り交ぜにより歴史的バージョンを表現することで、このアプローチは空間効率を実現しており、データの完全な複製を回避した。