[論文レビュー] CASPaxos: Replicated State Machines without logs

Denis Rystsov|arXiv (Cornell University)|Feb 20, 2018

Distributed systems and fault tolerance参考文献 9被引用数 9

ひとこと要約

CASPaxos は、ログを排除して拡張された Synod プロトコルを介して直接状態をレプリケートすることにより、リーダーレスで待機フリーで線形化可能なレプリケート状態機械プロトコルであり、低レイテンシー、高並列性、および改善された故障耐性を実現する。書き込みの増幅を低減し、ハードウェアのオーバーヘッドを削減する。プロトタイプでは WAN 部署において 47ms のレイテンシーを達成しており、Etcd や MongoDB のようなリーダー基盤のシステムを著しく上回る性能を示した。

ABSTRACT

CASPaxos is a wait-free, linearizable, multi-writer multi-reader register in unreliable, asynchronous networks supporting arbitrary update operations including compare-and-set (CAS). The register acts as a replicated state machine providing an interface for changing its value by applying an arbitrary user-provided function (a command). Unlike Multi-Paxos and Raft which replicate the log of commands, CASPaxos replicates state, thus avoiding associated complexity, reducing write amplification, increasing concurrency of disk operations and hardware utilization. The paper describes CASPaxos, proves its safety properties and evaluates the characteristics of a CASPaxos-based prototype of key-value storage.

研究の動機と目的

• Multi-Paxos や Raft のようなリーダー基盤のコンセンサスプロトコルの複雑さと可用性の制限を解決すること。
• ログレプリケーションを排除することで、書き込みの増幅を低減し、ディスク I/O の並列性を向上させること。
• 単一障害点がなく、非同期的かつ不安定なネットワーク環境においても高い可用性と低レイテンシーを達成すること。
• マルチ・パックスォスや Raft の代替として、より単純で形式的に正しい分散状態機械の構築を可能にすること。
• 状態レプリケーションがログベースのレプリケーションと同等に効率的で安全であり、実用的なパフォーランスの利点を示すこと。

提案手法

• 単一命令のパックスォス（Synod プロトコル）を拡張し、ログではなく状態そのものを直接レプリケートすることで、ログの構成の必要性を排除すること。
• 状態の更新に比較・設定（CAS）操作をアトミックなプリミティブとして使用し、安全な並列書き込みを可能にすること。
• すべてのレプリカが同等である対称的でピア・ツー・ピアのアーキテクチャを維持し、リーダー選出や障害点を回避すること。
• 異なる状態コンポONENTに独立的かつ順序を問わず書き込みを許可することで、ディスク I/O の並列性とハードウェア利用効率を向上させること。
• TLA+ を用いた形式的証明と付録の数学的証明により、安全性和線形化可能性を形式的に証明すること。
• 実世界の WAN 条件下でのパフォーランスと障害耐性を評価するために、プロトタイプのキーバリューストア（Gryadka）を実装すること。

実験結果

リサーチクエスチョン

• RQ1 命令のログを維持せずに、安全性和線形化可能性を保ちながら、レプリケート状態機械を構築することは可能か？
• RQ2 ログの排除が、分散システムにおける書き込みの増幅、ディスク I/O の並列性、およびハードウェア利用効率に与える影響は何か？
• RQ3 リーダーなしのコンセンサスプロトコルは、Raft や Multi-Paxos のようなリーダー基盤のプロトコルよりも低いレイテンシーと高い可用性を達成できるか？
• RQ4 地理的に分散された環境における、ログベースのレプリケーションと比較して、直接状態レプリケーションがパフォーマンスに与える影響は何か？
• RQ5 リーダーが存在しないことで、ネットワーク分離やノード障害時における障害耐性がどの程度向上するか？

主な発見

• CASPaxos は、Azure の3つのリージョンにまたがる WAN 部署において、読み取り・変更・書き込み操作の平均レイテンシーが 47ms に達し、Etcd（679ms）や MongoDB（1086ms）を著しく上回った。
• リーダーの隔離時においても、エラー耐性を保ち、1秒未満の停止時間に抑えることができた。これに対して、Raft 基盤のシステムでは Etcd（1秒）や CockroachDB（7秒）が1秒以上の停止時間を要した。
• 実装は 500 行未満のコードで実現され、マルチ・パックスォス や Raft 実装と比較して著しい複雑さの低減が確認された。
• 直接状態レプリケーションにより、書き込みの増幅が低減され、ディスク I/O の効率とハードウェア利用効率が向上した。
• 中央リーダーへのリクエスト転送を排除することで、広域ネットワークにおいて最適なコミットレイテンシーを達成した。
• TLA+ を用いた形式的検証と数学的証明により、CASPaxos の安全性和線形化可能性が確認され、その単純さにもかかわらず正しさが裏付けられた。