[論文レビュー] Raft Consensus Algorithm: an Effective Substitute for Paxos in High Throughput P2P-based Systems

Mohammad Fazlali, Sara Moazezi Eftekhar+3 more|arXiv (Cornell University)|Nov 4, 2019

Peer-to-Peer Network Technologies被引用数 7

ひとこと要約

この論文では、Apache Cassandraにおけるピアツーピア（P2P）システムの高スループット環境におけるワーカー衝突問題を解消するため、Paxosに代えてRaft共識アルゴリズムを導入することを提案している。Raftの単純化されたリーダー選出およびログレプリケーションの特徴を活用することで、Paxosと比較して、特に高負荷下において顕著に向上した負荷分散、低遅延、および高いリクエストスループットが実証された。

ABSTRACT

One of the significant problem in peer-to-peer databases is collision problem. These databases do not rely on a central leader that is a reason to increase scalability and fault tolerance. Utilizing these systems in high throughput computing cause more flexibility in computing system and meanwhile solve the problems in most of the computing systems which are depend on a central nodes. There are limited researches in this scope and they seem are not suitable for using in a large scale. In this paper, we used Cassandra which is a distributed database based on peer-to-peer network as a high throughput computing system. Cassandra uses Paxos to elect central leader by default that causes collision problem. Among existent consensus algorithms Raft separates the key elements of consensus, such as leader election, so enforces a stronger degree of coherency to reduce the number of states that must be considered, such as collision.

研究の動機と目的

• 分散キュー管理システムにおける同時ジョブ処理に起因する中央集権的調整の欠如に起因するCassandraのワーカー衝突問題を解消すること。
• Paxosのような複雑な共識プロトコルに代えて、より理解しやすい代替手段に置き換えることで、P2Pベースの分散データベースにおけるスケーラビリティとフェイルセーフを向上させること。
• 高負荷下における遅延、負荷分散、リクエストスループットという観点から、RaftとPaxosの性能を評価すること。
• 大規模かつ高スループットのP2P環境において、Raftがより優れたシステム安定性と効率性を提供することを実証すること。

提案手法

• Apache Cassandraのリーダー選出およびログレプリケーションメカニズムにおいて、Raft共識アルゴリズムをPaxosの代替として導入すること。
• クラスタ全体で高負荷ワークロードを生成・測定するために、OpscenterモニタリングツールおよびCassandra stressツールを用いること。
• 時間経過に伴う読み取り/書き込みリクエスト遅延、OS負荷、ネットワークI/O（送信/受信データ量）、リクエストレートを含むシステムメトリクスを監視すること。
• 遅延、負荷分散、リクエスト処理の一貫性といった主要なパフォーマンス指標において、RaftとPaxosを比較すること。
• 負荷の増加に伴うシステム動作を分析し、スケーラビリティおよびフェイルセーフ特性を評価すること。
• システム負荷がリクエストスループットおよびネットワーク活動に与える影響を評価し、安定性および逸脱のパターンに注目すること。

実験結果

リサーチクエスチョン

• RQ1 高負荷が増加する条件下で、RaftとPaxosの間で読み取りおよび書き込みリクエスト遅延にどのような差が生じるか？
• RQ2 RaftとPaxosの両者において、OS負荷およびネットワーク負荷の分布にシステム負荷がどのように影響を与えるか？
• RQ3 高スループットP2Pデータベースシステムにおいて、RaftはPaxosよりも優れた負荷分散およびリクエスト処理の一貫性を達成できるか？
• RQ4 RaftはCassandraの分散キューアーキテクチャにおいて、ワーカー衝突を低減し、システム効率を向上させることができるか？
• RQ5 持続的なワークロード下で、RaftとPaxosの間でネットワークI/Oパターン（送信および受信データ）にどのような差が生じるか？

主な発見

• Raftは、特に高負荷下において、Paxosと比較して顕著に低く、かつ一貫性のある読み取りおよび書き込みリクエスト遅延を示した。
• Paxosではリクエスト遅延とネットワークI/Oの逆相関関係が見られたが、高負荷下でデータ転送レートが急激に低下した。一方、Raftは安定的で規則正しいネットワークI/Oパターンを維持した。
• 書き込みリクエストの平均回数は、Raftで1秒あたり11件、Paxosで14件であった。これは、Raftの方がよりバランスの取れた負荷分散を実現していることを示している。
• Paxosでは負荷下で読み取りリクエストレートが大きく変動したが、Raftでは一定かつ最適化されたレートを維持しており、遅延の低減に寄与した。
• OS負荷に関しては、Raftは一貫して低く、滑らかな変動を示した。一方、Paxosはより広い変動を示し、より優れたシステムリソース利用効率を示している。
• Raftの優れた負荷分散により、全体的なシステム効率が向上し、冗長性が低減され、高スループットP2P環境におけるパフォーマンスが向上した。