[논문 리뷰] A study on Modern Messaging Systems- Kafka, RabbitMQ and NATS Streaming

T Sharvari, Sowmya Nag K|arXiv (Cornell University)|2019. 12. 08.

Peer-to-Peer Network Technologies참고 문헌 11인용 수 24

한 줄 요약

이 논문은 실시간, 확장성 있고 장애에 강한 분산 응용 프로그램을 위한 최신 메시징 시스템인 Apache Kafka, RabbitMQ, NATS Streaming 간의 비교 분석을 제공한다. 아키텍처, 기능, 그리고 사용 사례에 따른 적합성을 평가하며, 메시지 지속성, 처리량, 지연 시간, 배포 패턴의 핵심 차이점을 규명하여 마이크로서비스 및 빅데이터 스트리밍 환경에서 최적의 메시징 플랫폼을 선택하는 데 시스템 아키텍트를 지원한다.

ABSTRACT

Distributed messaging systems form the core of big data streaming, cloud native applications and microservice architecture. With real-time critical applications there is a growing need for well-built messaging platform that is scalable, fault tolerant and has low latency. There are multiple modern messaging systems that have come up in the recent past, all with their own pros and cons. This has become problematic for the industry to decide which messaging system is the most suitable for a specific application. An in-depth study is required to decide which features of a messaging system meet the needs of the application. This survey paper outlines the modern messaging technologies and delves deep on three popular publisher/subscriber systems- Apache Kafka, RabbitMQ and NATS Streaming. The paper provides information about messaging systems, the use cases, similarities and differences of features to facilitate users to make an informed decision and also pave way for future research and development.

연구 동기 및 목표

• 분산 컴퓨팅 환경에서 현대 메시징 시스템의 설계, 기능, 성능 특성을 평가하고 비교하는 것.
• 실시간, 확장성 있고 장애에 강한 워크로드에서 Apache Kafka, RabbitMQ, NATS Streaming의 강점과 한계를 규명하는 것.
• 처리량, 지연 시간, 메시지 내구성과 같은 애플리케이션 특정 요구사항을 바탕으로 가장 적합한 메시징 시스템을 선택하기 위한 决책 프레임워크를 제공하는 것.
• 마이크로서비스 및 빅데이터 스트리밍 시스템에서의 정보 기반 채택을 지원하기 위해 아키텍처적 차이점과 기능 트레이드오프를 부각하는 것.
• 메시징 시스템 최적화 및 상호운용성 분야의 향후 연구를 위한 기반을 마련하는 것.

제안 방법

• Apache Kafka, RabbitMQ, NATS Streaming과 같은 주요 발행/구독 메시징 시스템 세 종류에 대한 비교 조사를 수행한다.
• 시스템 아키텍처, 메시지 지속성 모델, 메시지 순서 및 전달 보장을 지원하는 방식을 분석한다.
• 처리량, 지연 시간, 다양한 워크로드 하에서의 확장성 등 성능 측면을 평가한다.
• 메시지 유지 기간, 클러스터링, 다양한 메시징 패턴(예: 큐, 토픽, 스트림) 지원과 같은 기능을 비교한다.
• 클라우드 네이티브 및 마이크로서비스 아키텍처에서 흔히 발생하는 사용 사례에 시스템 기능을 매핑하기 위한 체계적인 프레임워크를 사용한다.
• 비교 가능한 기능 요약을 위한 표 및 그래픽 요약을 제시하여 측면 대비 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Kafka, RabbitMQ, NATS Streaming은 메시지 전달 의미 체계와 기반 아키텍처 측면에서 어떻게 다를까?
• RQ2 이 시스템들 간의 처리량, 지연 시간, 메시지 내구성 사이의 성능 트레이드오프는 어떠한가?
• RQ3 메시지 유지 기간 및 확장성과 같은 기능을 기반으로 각 시스템은 어떤 유형의 워크로드에서 가장 적합한가?
• RQ4 생산 환경에서 장애 내성과 고가용성을 어떻게 처리하는가?
• RQ5 실시간 데이터 파이프라인과 마이크로서비스에 대한 시스템 선택에 영향을 미치는 주요 아키텍처적 결정은 무엇인가?

주요 결과

• Apache Kafka는 고처리량, 로그 기반 지속성 메시징을 제공하며 강력한 내구성과 수평적 확장성을 지녀 이벤트 스트리밍 및 빅데이터 워크로드에 이상적이다.
• RabbitMQ는 교환기와 큐를 통해 풍부한 라우팅 기능과 유연한 메시지 패턴을 제공하여 기업용 마이크로서비스에서 복잡한 메시지 라우팅에 적합하다.
• NATS Streaming은 낮은 지연 시간과 경량 메시징을 제공하며 단순한 API를 통해 클라우드 네이티브 및 컨테이너 기반 환경에서 최소한의 자원 오버헤드가 필요한 경우에 이상적이다.
• Kafka는 로그 기반 스토리지 덕분에 메시지 유지 및 재생 기능에서 뛰어나지만, RabbitMQ는 더 고급 메시지 라우팅 및 필터링을 지원한다.
• NATS Streaming은 Kafka와 RabbitMQ보다 낮은 지연 시간과 더 단순한 배포를 제공하지만, 고급 지속성 및 복제 기능은 적다.
• 이 세 시스템 중에서의 선택은 워크로드 특성에 크게 좌우되며, Kafka는 고처리량, 내구성 있는 스트리밍에 적합하고, RabbitMQ는 복잡한 라우팅에 적합하며, NATS는 낮은 지연 시간과 경량 환경에 적합하다.