[논문 리뷰] Kafka versus RabbitMQ

Philippe Dobbelaere, Kyumars Sheykh Esmaili|arXiv (Cornell University)|2017. 09. 01.

Peer-to-Peer Network Technologies참고 문헌 8인용 수 7

한 줄 요약

이 논문은 Apache Kafka와 RabbitMQ를 퍼블리시/서브스크립션 시스템으로서의 핵심 기능, 성능, 아키텍처적 트레이드오프를 종합적이고 통합적으로 비교한다. 정성적 및 정량적 분석을 바탕으로 한 의사결정 프레임워크—결정표 포함—를 제안하여 특정 사용 사례에 최적의 메시징 시스템을 선택하는 데 시스템 아키텍트를 안내한다. 특히 Kafka는 고처리량, 파artition된, 재재생 가능한 워크로드에서 뛰어난 성능를 발휘하는 반면, RabbitMQ는 기존 큐잉 시나리오에서 뛰어난 라우팅 유연성과 낮은 지연 시간을 제공함을 강조한다.

ABSTRACT

Publish/subscribe is a distributed interaction paradigm well adapted to the deployment of scalable and loosely coupled systems. Apache Kafka and RabbitMQ are two popular open-source and commercially-supported pub/sub systems that have been around for almost a decade and have seen wide adoption. Given the popularity of these two systems and the fact that both are branded as pub/sub systems, two frequently asked questions in the relevant online forums are: how do they compare against each other and which one to use? In this paper, we frame the arguments in a holistic approach by establishing a common comparison framework based on the core functionalities of pub/sub systems. Using this framework, we then venture into a qualitative and quantitative (i.e. empirical) comparison of the common features of the two systems. Additionally, we also highlight the distinct features that each of these systems has. After enumerating a set of use cases that are best suited for RabbitMQ or Kafka, we try to guide the reader through a determination table to choose the best architecture given his/her particular set of requirements.

연구 동기 및 목표

• 개발자 및 아키텍트들이 언제 Kafka를 RabbitMQ보다 선택해야 하는지 자주 혼동하는 문제를 해결하기 위해.
• 핵심 퍼블리시/서브스크립션 기능과 서비스 품질 보장 기반으로 공통의 통합 비교 프레임워크를 수립하기 위해.
• 정성적 및 정량적 차이를 모두 고려한 균형 잡힌, 최신 기반의 경험적 분석을 제공하기 위해.
• 각 시스템에 가장 적합한 사용 사례를 식별하고 통합 아키텍처 패턴을 제안하여 시스템 아키텍트가 최적의 메시징 시스템을 선택하도록 안내하기 위해.
• 시스템 요구사항을 아키텍처 선택(예: Kafka, RabbitMQ, 하이브리드)에 매핑하는 의사결정 표를 제공하여 맥락 인식 기반의 시스템 설계를 가능하게 하기 위해.

제안 방법

• 핵심 퍼블리시/서브스크립션 기능(엔티티, 시간, 동기화 분리), 라우팅 로직 및 서비스 품질 보장 기반으로 공통 비교 프레임워크 수립.
• Kafka와 RabbitMQ 간 공통 기능(예: 메시지 전달 의미론, 지속성, 확장성)에 대한 정성적 비교 수행.
• 다양한 구성(단일 노드, 파artition된, 복제된)에서의 처리량과 지연 시간에 대한 경험적 정량적 벤치마킹 수행.
• 각 시스템의 고유 기능 분석: Kafka의 로그 기반 아키텍처, 파artition, 재재생 가능성 대비 RabbitMQ의 AMQP 기반 라우팅, 엑세스/바인딩 모델, 메모리 최적화.
• 요구사항(예: 지연 시간, 처리량, 순서, 복제)을 시스템 선택(Kafka, RabbitMQ, 또는 하이브리드)에 매핑하는 결정표(표 5) 제안.
• 하이브리드 배포 패턴 평가: 예를 들어 장기 저장을 위해 Kafka를 사용하고 복잡한 라우팅을 위해 RabbitMQ를 사용하거나 스트림의 병렬 처리.

실험 결과

연구 질문

• RQ1 Kafka와 RabbitMQ는 다양한 구성에서 처리량, 지연 시간, 확장성 측면에서 어떻게 비교될 수 있는가?
• RQ2 Kafka와 RabbitMQ 간 설계 철학, 메시지 전달 의미론, 라우팅 기능에서의 주요 정성적 차이점은 무엇인가?
• RQ3 строго한 메시지 순서, 재재생 가능성 또는 복잡한 라우팅 논리가 필요한 사용 사례에 대해 어느 시스템이 더 적합한가?
• RQ4 Kafka가 처리량 측면에서 RabbitMQ를 능가하는 조건은 언제이며, RabbitMQ가 우월성을 유지하는 경우는 언제인가?
• RQ5 다양한 실제 시스템 요구사항을 충족시키기 위해 가장 적합한 아키텍처 패턴은 단일 시스템인지, 하이브리드인지인가?

주요 결과

• 단일 노드, 단일 파artition 구성에서는 RabbitMQ가 처리량에서 Kafka를 앞서지만, Kafka는 파artition 수 증가에 따라 성능이 극적으로 향상된다.
• Kafka는 '최소 한 번' 전달 의미론을 사용할 경우 지연 시간이 약 두 배로 증가하며, 디스크 I/O가 필요한 경우 최대 10배로 증가할 수 있다.
• RabbitMQ는 '최다 한 번' 및 '최소 한 번' 전달 모드 모두에서 낮은 지연 시간(평균/중위수 약 10 ms)을 유지하며, 두 모드 간 차이가 미미하다.
• 복제는 Kafka의 성능을 75% 감소시키고 RabbitMQ의 성능은 50% 감소시켜 고가용성 환경에서 처리량에 상당한 영향을 미친다.
• Kafka는 파artition를 통한 수평 확장이 자연스럽게 지원되지만, RabbitMQ는 유사한 확장성을 확보하기 위해 추가 구성 요소(예: 일관성 해시 엑세스)가 필요하다.
• 복잡하고 동적인 라우팅이 필요한 사용 사례에서는 RabbitMQ가 그 융통성 있는 엑세스 및 바인딩 모델 덕분에 뛰어난 성능를 발휘한다. 반면 고처리량, 재재생 가능, 순서 보장 스트림이 필요한 경우 Kafka가 더 적합하다.