[논문 리뷰] A Survey of Distributed Message Broker Queues

Vineet John, Xia Liu|arXiv (Cornell University)|2017. 04. 03.

Distributed systems and fault tolerance참고 문헌 1인용 수 34

한 줄 요약

이 논문은 현대의 분산 메시지 브로커를 종합적으로 조사하며, Apache Kafka와 AMQP(RabbitMQ를 통해)에 초점을 맞춰 아키텍처, 기능, 다양한 워크로드 하에서의 성능을 비교한다. Kafka는 선형 확장성과 함께 고처리량, 저지연의 로그 처리에서 뛰어난 성능을 보이며, AMQP는 더 높은 신뢰성과 융통성 있는 라우팅을 제공하지만 고성능 환경에서는 더 높은 지연을 보인다.

ABSTRACT

This paper surveys the message brokers that are in vogue today for distributed communication. Their primary goal is to facilitate the construction of decentralized topologies without single points of failure, enabling fault tolerance and high availability. These characteristics make them optimal for usage within distributed architectures. However, there are multiple protocols built to achieve this, and it would be beneficial to have a empirical comparison between their features and performance to determine their real-world applicability. This paper focuses on two popular protocols (Kafka and AMQP) and explores the divergence in their features as well as their performance under varied testing workloads.

연구 동기 및 목표

• 주요 분산 메시지 브로커의 아키텍처 설계 및 운영 특성 분석 및 비교.
• 다양한 워크로드 하에서 Kafka와 AMQP 간의 실제 성능 트레이드오프 평가.
• 신뢰성, 파artitioning, 장애 내성, 메시지 전달 의미 체계의 핵심 차이점 식별.
• 시스템 아키텍트가 Kafka와 AMQP 기반 솔루션을 선택할 때 참고할 수 있는 실험적 벤치마크 제공.

제안 방법

• 동일한 하드웨어(12코어 CPU, 16GB RAM, 1Gbps 네트워크, HDD 스토리지)를 갖춘 5노드 테스트 베드를 사용해 Kafka와 RabbitMQ(AMQP의 구현체)를 벤치마크했다.
• 두 가지 유형의 테스트를 실시했다: (1) 고정된 메시지 부하(100만 개 메시지, 각 50바이트) 하에서 노드 수를 1에서 5로 증가시키는 스케일링 테스트, (2) 노드 수를 일정하게 유지하면서 노드당 프로듀서/컨슈머 수를 증가시키는 테스트.
• 고유의 Go 기반 벤치마킹 툴(Flotilla)을 사용해 다양한 구성에서 처리량과 지연 시간을 측정했다.
• Kafka의 풀 기반 모델과 파artition된 토픽 아키텍처를 AMQP의 엑스체인지-큐 모델과 라우팅 키와 비교 평가했다.
• 수평 확장성 행동을 평가하기 위해 단일 및 다중 프로듀서/컨슈머 워크로드 하에서 성능을 측정했다.
• 양 시스템의 메시지 지속성, 내구성, 장애 복구 메커니즘을 분석했다.

실험 결과

연구 질문

• RQ1 RQ0: 오늘날 일반적으로 사용되는 메시지 브로커 구현체는 무엇인가?
• RQ2 RQ1: 메시지 큐의 구현에 공통적으로 요구되는 요건은 무엇인가?
• RQ3 RQ2: 현재의 메시지 큐 제공 서비스 간의 상이한 功能은 무엇인가?
• RQ4 RQ3: 각 구현체는 신뢰성, 파artitioning, 장애 내성 등을 어떻게 제공하는가?

주요 결과

• 단일 프로듀서/컨슈머 워크로드 하에서 노드 수를 1에서 5로 증가시킬 때 Kafka는 지연 시간을 3배 감소시켰으며, 처리량 손실는 1.06배에 그쳤다.
• 고정된 부하 하에서 노드 수가 증가함에 따라 Kafka의 처리량은 안정을 유지해, 로그 집계 워크로드에 대한 강력한 수평 확장성을 입증했다.
• 노드당 다수의 프로듀서/컨슈머가 존재하는 고병렬 워크로드 하에서 Kafka의 지연 시간이 크게 증가해, 높은 연결 밀도에서 성능 저하가 발생하는 것으로 나타났다.
• RabbitMQ(AMQP)는 푸시 기반 모델과 복잡한 라우팅 로직으로 인해, 특히 고병렬 조건에서 Kafka보다 더 높은 지연 시간을 보였다.
• AMQP의 메시지 전달 보장(예: 배달 모드 2를 사용한 영구 큐)은 재시작 후 메시지 복구를 보장했지만, Kafka 대비 처리량 감소를 수반했다.
• Kafka의 설계는 처리량과 저지연을 우선시해 고용량 로그 처리에 최적화되어 있으며, AMQP는 신뢰성과 융통성 있는 라우팅에 초점을 맞춰 거래 및 엔터프라이즈 워크로드에 적합하다.