[論文レビュー] Assise: Performance and Availability via NVM Colocation in a Distributed File System

Thomas E. Anderson, Marco Canini+7 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Data Storage Technologies参考文献 50被引用数 8

ひとこと要約

Assise は、計算とストレージを同一場所に配置することで、サブ秒オーダーのフェイルオーバー、低遅延、強力な一貫性を実現する分散ファイルシステムである。ノードローカルな非揮発性メモリ（NVM）を活用し、I/O操作単位の粒度で、クラッシュ整合性を保証するレプリケートされた一貫性プロトコル（CC-NVM）を用いる。これにより、Ceph や NFS も含む従来のシステムを最大 56× に上回るスループット、103× に上回るフェイルオーバー時間の短縮を達成しながら、線形化とプレフィックスセマンティクスを保証する。

ABSTRACT

The adoption of very low latency persistent memory modules (PMMs) upends the long-established model of disaggregated file system access. Instead, by colocating computation and PMM storage, we can provide applications much higher I/O performance, sub-second application failover, and strong consistency. To demonstrate this, we built the Assise distributed file system, based on a persistent, replicated coherence protocol for managing a set of server-colocated PMMs as a fast, crash-recoverable cache between applications and slower disaggregated storage, such as SSDs. Unlike disaggregated file systems, Assise maximizes locality for all file IO by carrying out IO on colocated PMM whenever possible and minimizes coherence overhead by maintaining consistency at IO operation granularity, rather than at fixed block sizes. We compare Assise to Ceph/Bluestore, NFS, and Octopus on a cluster with Intel Optane DC PMMs and SSDs for common cloud applications and benchmarks, such as LevelDB, Postfix, and FileBench. We find that Assise improves write latency up to 22x, throughput up to 56x, fail-over time up to 103x, and scales up to 6x better than its counterparts, while providing stronger consistency semantics. Assise promises to beat the MinuteSort world record by 1.5x.

研究の動機と目的

• 低遅延永続メモリ（NVM）の時代における、分離型ファイルシステムのパフォーマンスと可用性の制限を解消すること。
• NVM を使用する際の従来のファイルシステムにおける高いシステムコールオーバーヘッド、長時間の回復時間、固定ブロックサイズの粒度の一貫性管理の課題を克服すること。
• アプリケーションレベルの API 変更なしに、高パフォーマンスでクラッシュ整合性があり、高い可用性を持つファイル I/O を実現すること。
• ローカル、ソケットローカル、ネットワークローカルな NVM を活用したスケーラブルで低遅延の分散ファイルシステムを設計すること。
• 固定ブロックサイズではなく I/O 操作単位で一貫性を管理することで、最小限の一貫性オーバーヘッドで強力な一貫性を達成すること。

提案手法

• I/O 操作におけるネットワーク遅延を排除するために、アプリケーションプロセスを永続メモリモジュール（PMM）と同一場所に配置する。
• リース委任とログ記録を用いてプレフィックスセマンティクスと線形化を保証する、クラッシュ整合性でレプリケートされたキャッシュ一貫性レイヤー（CC-NVM）を実装する。
• RDMA と DMA を用いて、リモートおよびクロスソケット NVM 間の書き込み順序を強制することで、カーネル介入なしに強力な一貫性を実現する。
• カーネルバイパス I/O を許可されたローカルおよびリモート NVM リージョンに適用し、テール遅延を最小限に抑える。
• 非同期チェーンレプリカを用いたオプティミスティックモードを提供し、プレフィックスクラッシュ一貫性を実現する低書き込み遅延の永続化を実現する。
• リソースレプリカをネットワークローカルな NVM キャッシュとしてデプロイし、段階的障害発生時にキャッシュレプリカに変換することで、ほぼ即時のフェイルオーバーを実現する。

実験結果

リサーチクエスチョン

• RQ1 分離型モデルと比較して、配置された NVM は分散ファイルシステムにおける I/O 遅延とフェイルオーバー時間を顕著に短縮できるか？
• RQ2 NVM を高速で永続的なキャッシュとして使用する際、最小限の一貫性オーバーヘッドで強力な一貫性を維持できるか？
• RQ3 ローカルリース管理とプロセスローカルキャッシュは、ファイルシステムワークロードにおけるスケーラビリティとテール遅延の低減にどの程度寄与するか？
• RQ4 クラッシュ整合性でレプリケートされた NVM キャッシュレイヤー（CC-NVM）は、一貫性を損なわず、高パフォーマンスかつ高可用性を実現できるか？
• RQ5 Assise の設計は、LevelDB や Postfix、FileBench といった実世界のワークロードにおいて、Ceph や NFS、Octopus と比較してどの程度スケーリングするか？

主な発見

• Assise は、LevelDB や FileBench を含むワークロードにおいて、Ceph/Bluestore と比較して、書き込み遅延を最大 22× 減少し、スループットを最大 56× 増加させた。
• クラッシュ整合性レプリカを用いた NVM キャッシュのローカル回復により、アプリケーションのフェイルオーバー時間が最大 103× 短縮された。
• NVM 書き込み帯域幅がボトルネックに達するまで、プロセス数に比例して線形にスケーリングし、Ceph よりも 6× より優れたスケーラビリティを達成した。
• シャーディング構成（Assise-sharded）は、共有ディレクトリが存在しても、ローカライズド一貫性管理のおかげでラウンドロビン方式よりも最大 20% のパフォーマンス向上を達成した。
• プライベートディレクトリシャーディング（Assise-private）は、シャーディングベースの最適化と同等のパフォーマンスを達成し、CC-NVM における同期のオーバーヘッドが最小限であることを示した。
• スケールにおいて、Assise は Orion より 69×、Ceph より 554× のスループットを達成し、低遅延かつ高スループット設計のおかげで MinuteSort の世界記録を 1.5× 突破した。