[論文レビュー] A Robust Fault-Tolerant and Scalable Cluster-wide Deduplication for Shared-Nothing Storage Systems

Awais Khan, Chang-Gyu Lee+3 more|arXiv (Cornell University)|Mar 21, 2018

Advanced Data Storage Technologies参考文献 13被引用数 3

ひとこと要約

本論文は、Cephのような共有しない（shared-nothing）ストレージシステムを対象として、コンテンツベースのフィンガープrintとタグ付き整合性メカニズムを用い、メタデータのボトルneckを回避し、トランザクション整合性を保証するスケーラブルでフェイルセーフなクラスタースコープの重複削除フレームワークを提案する。このアプローチは、最小限のパフォーマンスオーバーヘッドで高いストレージ効率を達成し、信頼性の高い障害回復を実現する。

ABSTRACT

Deduplication has been largely employed in distributed storage systems to improve space efficiency. Traditional deduplication research ignores the design specifications of shared-nothing distributed storage systems such as no central metadata bottleneck, scalability, and storage rebalancing. Further, deduplication introduces transactional changes, which are prone to errors in the event of a system failure, resulting in inconsistencies in data and deduplication metadata. In this paper, we propose a robust, fault-tolerant and scalable cluster-wide deduplication that can eliminate duplicate copies across the cluster. We design a distributed deduplication metadata shard which guarantees performance scalability while preserving the design constraints of shared- nothing storage systems. The placement of chunks and deduplication metadata is made cluster-wide based on the content fingerprint of chunks. To ensure transactional consistency and garbage identification, we employ a flag-based asynchronous consistency mechanism. We implement the proposed deduplication on Ceph. The evaluation shows high disk-space savings with minimal performance degradation as well as high robustness in the event of sudden server failure.

研究の動機と目的

• 従来、メタデータのボトルneckと障害時の整合性問題に苦しんできた、共有しないストレージシステム（SN-SS）におけるスケーラブルでフェイルセーフな重複削除の欠如に対処する。
• 中央集権的な重複削除メタデータサーバーの制限と、非効率なDBシャーディング手法によるブロードキャストによる照会と、ストレージ再配置時の高いI/Oオーバーヘッドを克服する。
• 高価なジャーナリングやチェックポイント機構に依存せずに、トランザクション整合性とゴミデータチャンクの検出を保証する。
• 共有しないアーキテクチャを維持しつつ、クラスタースコープの重複データ検出と効率的なメタデータ管理を可能にするシステムを設計する。

提案手法

• データチャンクのコンテンツベースのフィンガープリントを用い、クラスタ内でのグローバルな位置を特定することで、すべてのシャーディングにわたるブロードキャストによるメタデータ照会の必要性を排除する。
• オブジェクトストレージサーバーと同一場所に配置された分散型重複削除メタデータシャーディング（DM-Shard）を実装し、共有しない性質を保ちながら水平スケーラビリティを実現する。
• チャンクまたはオブジェクトごとのコミットフラグを用いた非同期タグ付き整合性メカニズムを導入し、I/Oをブロッキングせず、トランザクションロックを必要とせずに、トランザクション状態を追跡する。
• CephにおけるCRUSHベースのデータ配置を活用し、均一な負荷分散とフィンガープリントによる効率的なチャンク位置特定を実現する。
• タグ付き整合性モデルを活用して、失敗したトランザクションからのゴミデータチャンクを自動で検出し、クリーンアップするように設計する。
• Cephにソリューションを統合し、さまざまなワークロードと障害シナリオを想定した実際のテストベッドを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 共有しないストレージシステムにおいて、中央集権的なボトルneckや過剰なI/Oオーバーヘッドを引き起こさずに、重複削除メタデータをどのようにスケーリング・分散化できるか？
• RQ2 突然のストレージサーバー障害が発生した場合に、分散型重複削除システムでどのようにトランザクション整合性とフェイルセーフを保証できるか？
• RQ3 コンテンツベースのチャンクフィンガープリントは、クラスタースコープの重複削除環境において、メタデータ照会効率をどのように向上させ、ブロードキャストクエリを削減するか？
• RQ4 従来のロックベースまたはログベースの整合性モデルと比較して、提案されたタグ付き整合性メカニズムは、パフォーマンスオーバーヘッドをどの程度低減できるか？
• RQ5 ディスク数が増加するに従って、ローカルディスクベースの重複削除と比較して、提案されたクラスタースコープの重複削除アプローチは、ストレージ効率においてどの程度優れているか？

主な発見

• クラスタースコープの重複削除アプローチは、1〜8台のディスクで85％のストレージ容量削減を達成するが、ディスクベースの重複削除は8台のディスクで61％まで低下する。これは、ディスク間の重複データ検出ができないためである。
• 32のクライアントスレッドを用いた場合、中央集権的な重複削除アプローチではメタデータサーバーの競合により帯域幅が200 MB/sまで低下するが、提案されたクラスタースコープアプローチはスケーラビリティを維持し、並列処理の増加に伴い帯域幅が向上する。
• 非同期タグ付き整合性メカニズムは、チャンクレベルおよびオブジェクトレベルの整合性モデルと比較して、パフォーマンスオーバーヘッドが無視できるほど小さい。一方、トランザクションロックによる影響で15％以上のパフォーマンス低下を受けるモデルが存在する。
• システムは突然のサーバー障害に対しても高い耐性を示し、追加の監視やジャーナリングなしにゴミデータチャンクを正しく特定・処理する。
• スケーラビリティ分析の結果、I/O競合が高い状況下でも、分散メタデータと負荷を考慮したCRUSH配置のおかげで、提案されたシステムは中央集権的重複削除を上回る性能を発揮し、クライアントスレッド数の増加に伴い帯域幅が増加する。
• 中央集権的なメタデータサーバーの必要性が排除され、ブロードキャストによるメタデータ照会も回避されるため、共有しないアーキテクチャにおいて、効率的でスケーラブルなクラスタースコープの重複削除が実現できる。