[논문 리뷰] Raft Consensus Algorithm: an Effective Substitute for Paxos in High Throughput P2P-based Systems

Mohammad Fazlali, Sara Moazezi Eftekhar외 3명|arXiv (Cornell University)|2019. 11. 04.

Peer-to-Peer Network Technologies인용 수 7

한 줄 요약

이 논문은 고성능 피어 투 피어(P2P) 시스템에서 워커 충돌 문제를 해결하기 위해 Apache Cassandra의 Paxos를 Raft 공인 알고리즘으로 대체할 것을 제안한다. Raft의 더 단순한 리더 선출 및 로그 복제 기능을 활용하여, 특히 높은 시스템 부하 상황에서 더 나은 로드 밸런싱, 감소한 지연 시간, 높은 요청 처리량을 달성함을 입증한다.

ABSTRACT

One of the significant problem in peer-to-peer databases is collision problem. These databases do not rely on a central leader that is a reason to increase scalability and fault tolerance. Utilizing these systems in high throughput computing cause more flexibility in computing system and meanwhile solve the problems in most of the computing systems which are depend on a central nodes. There are limited researches in this scope and they seem are not suitable for using in a large scale. In this paper, we used Cassandra which is a distributed database based on peer-to-peer network as a high throughput computing system. Cassandra uses Paxos to elect central leader by default that causes collision problem. Among existent consensus algorithms Raft separates the key elements of consensus, such as leader election, so enforces a stronger degree of coherency to reduce the number of states that must be considered, such as collision.

연구 동기 및 목표

• 중앙 집중식 조율가 부족으로 인한 동시 작업 처리로 인해 발생하는 Cassandra의 분산 큐 시스템에서의 워커 충돌 문제 해결.
• Paxos와 같은 복잡한 공인 프로토콜을 더 이해하기 쉬운 대안으로 교체하여 피어 투 피어 기반 분산 데이터베이스의 확장성과 장애 내성 향상.
• 높은 시스템 부하 하에서 지연 시간, 로드 밸런싱, 요청 처리량 측면에서 Raft와 Paxos의 성능 평가.
• 대규모 고성능 P2P 환경에서 Raft가 더 나은 시스템 안정성과 효율성을 제공함을 입증.

제안 방법

• Apache Cassandra의 리더 선출 및 로그 복제 메커니즘에서 Paxos의 대안으로 Raft 공인 알고리즘을 구현.
• 클러스터 전반에 걸쳐 고부하 워크로드를 생성하고 측정하기 위해 Opscenter 모니터링 도구와 Cassandra stress 도구 사용.
• 시간에 따라 읽기/쓰기 요청 지연 시간, 운영 체제 부하, 네트워크 I/O(전송/수신 데이터), 요청 속도 등의 시스템 메트릭 모니터링.
• 지연 시간, 로드 분포, 요청 처리 일관성과 같은 핵심 성능 지표를 기반으로 Raft와 Paxos 비교.
• 확장성과 장애 내성 특성을 평가하기 위해 증가하는 부하 하에서의 시스템 동작 분석.
• 시스템 부하가 요청 처리량과 네트워크 활동에 미치는 영향 평가를 통해 안정성 및 이격 패턴에 집중.

실험 결과

연구 질문

• RQ1 증가하는 시스템 부하 하에서 Raft와 Paxos의 읽기 및 쓰기 요청 지연 시간은 어떻게 비교되는가?
• RQ2 Raft와 Paxos 간에 시스템 부하가 운영 체제 및 네트워크 부하 분포에 어떤 영향을 미치는가?
• RQ3 고성능 P2P 데이터베이스 시스템에서 Raft는 Paxos보다 더 나은 로드 밸런싱과 요청 처리 일관성을 달성하는가?
• RQ4 Raft는 Cassandra의 분산 큐 아키텍처에서 워커 충돌을 줄이고 시스템 효율성을 향상시킬 수 있는가?
• RQ5 지속적인 워크로드 하에서 Raft와 Paxos의 네트워크 I/O 패턴(전송 및 수신 데이터)은 어떻게 다른가?

주요 결과

• Raft는 특히 높은 부하 상황에서 Paxos보다 유의미하게 낮고 일관된 읽기 및 쓰기 요청 지연 시간을 보였다.
• Paxos는 요청 지연 시간과 네트워크 I/O 간의 반비례 관계를 보였으며, 고부하에서 데이터 전송 속도가 급격히 감소했지만, Raft는 안정적이고 규칙적인 네트워크 I/O 패턴을 유지했다.
• Raft의 평균 쓰기 요청 처리 수는 1초당 11건이었고, Paxos는 14건이었으며, 이는 Raft에서 더 균형 잡힌 로드 분포를 의미한다.
• Paxos의 읽기 요청 처리 속도는 부하 상황에서 크게 변동했지만, Raft는 일관되고 최적화된 속도를 유지하여 지연 시간 감소에 기여했다.
• Raft의 운영 체제 부하는 항상 낮고 일관된 경향을 보였고, Paxos는 더 넓은 변동성을 보여 더 나은 시스템 자원 활용도를 의미했다.
• Raft의 뛰어난 로드 밸런싱은 전체 시스템 효율성 향상, 중복 감소, 고성능 P2P 환경에서의 성능 향상에 기여했다.