[論文レビュー] Bipartisan Paxos: A Modular State Machine Replication Protocol

Michael Whittaker, Neil Giridharan+3 more|arXiv (Cornell University)|Feb 29, 2020

Distributed systems and fault tolerance参考文献 26被引用数 4

ひとこと要約

Bipartisan Paxos (BPaxos) は、プロトコルコンポーネントを分離することで、リーダーやプロポーザーといった高スループット要因の独立したスケーリングを可能にするモジュラーでマルチリーダー型の状態機械レプリケーションプロトコルである。スケーラブルなコンポーネントとスケーラブルでないコンポーネントを分離することで、BPaxos は EPaxos のおおよそ2倍のピークスループットを達成するとともに、モジュラーな正しさの証明によりプロトコルの単純さを著しく向上させた。

ABSTRACT

There is no shortage of state machine replication protocols. From Generalized Paxos to EPaxos, a huge number of replication protocols have been proposed that achieve high throughput and low latency. However, these protocols all have two problems. First, they do not scale. Many protocols actually slow down when you scale them, instead of speeding up. For example, increasing the number of MultiPaxos acceptors increases quorum sizes and slows down the protocol. Second, they are too complicated. This is not a secret; state machine replication is notoriously difficult to understand. In this paper, we tackle both problems with a single solution: modularity. We present Bipartisan Paxos (BPaxos), a modular state machine replication protocol. Modularity yields high throughput via scaling. We note that while many replication protocol components do not scale, some do. By modularizing BPaxos, we are able to disentangle the two and scale the bottleneck components to increase the protocol's throughput. Modularity also yields simplicity. BPaxos is divided into a number of independent modules that can be understood and proven correct in isolation.

研究の動機と目的

• MultiPaxos や EPaxos のような既存の状態機械レプリケーションプロトコルに内在するスケーラビリティと複雑さの問題に対処すること。
• 特にリーダーとプロポーザーが明確に並列化可能なため、リーダーとプロポーザーの独立したスケーリングを可能にすることで、高スループットを実現すること。
• システムを独立した、正当性が証明可能なモジュールに分解することで、プロトコルの理解可能性を向上させること。
• モジュラリティが、密結合なプロトコルと比較して性能のスケーリングと実装の複雑さの低減を可能にすることを示すこと。

提案手法

• リーダー、プロポーザー、アセプター、レプリカ、および依存関係サービスからなるモジュラーなコンポーネントに状態機械レプリケーションプロトコルを分解すること。
• 安全特性を引き継ぐために、Paxos をブラックボックスとしてのコンSENSUSモジュールとして使用し、コンセンサスロジックを再実装しないこと。
• リーダーとプロポーザーの独立した水平スケーリングを可能にし、これらが主なスループットボトルネックであることを解消すること。
• リーダーとプロポーザーのオーバーヘッドを平均化するために、クライアントコマンドを1つの頂点に集約するバッチ処理を活用すること。
• レプリカがより小さくバッチ処理されたグラフを処理できるようにプロトコルを設計することで、トポロジカルソートの時間が短縮され、実行効率が向上すること。
• コンポーネントを分離することで、モノリシックな設計（EPaxos など）の性能ボトルネックを回避し、独立したデプロイとスケーリングを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 状態機械レプリケーションプロトコルにおけるモジュラリティは、正しさを損なわせることなく、高スループットコンポーネントの独立したスケーリングを可能にするか？
• RQ2 EPaxos や GPaxos のような密結合プロトコルと比較して、モジュラー分解はプロトコルの複雑さを著しく低減するか？
• RQ3 スケーラブルなコンポーネントのデプロイにより、EPaxos や他の最先端プロトコルと比較して、モジュラーなプロトコルがより高いスループットを達成できるか？
• RQ4 バッチ処理はモジュラー設計とどのように作用し、さらにスループットを向上させ、遅延を低減するか？
• RQ5 Paxos のような確立されたプロトコルをモジュラーなコンポーネントとして再利用することで、安全特性の保証と検証の簡素化が可能になるか？

主な発見

• BPaxos は、主なスループットボトルネックであるリーダーとプロポーザーを独立してスケーリングすることで、EPaxos のおおよそ2倍のピークスループットを達成した。
• バッチサイズが1000の場合、BPaxos は最適な条件下でピークスループットが約500,000コマンド/秒、中央値遅延が約200 ms を達成した。
• モジュラー設計により、コンセンサスモジュール、依存関係サービス、レプリカなどの各コンポーネントを独立して理解・検証可能となり、プロトコルの保守性と正しさが向上した。
• マルチリーダーアーキテクチャにより単一リーダーボトルネックを排除したため、BPaxos は MultiPaxos や Raft のような単一リーダープロトコルを凌駆した。
• プロトコルの分離設計により、オーバーヘッドがリーダーとプロポーザー間で平均化され、レプリカのグラフ処理が、より少ないがより大きな頂点数により高速化された。
• EPaxos や Caesar に見られる高速パス最適化の複雑さを回避したため、EPaxos のコンセンサス実装で6年後に発見された微妙なバグのリスクが低減された。