[논문 리뷰] Towards Message Brokers for Generative AI: Survey, Challenges, and Opportunities

Alaa Saleh, Morabito, Roberto외 3명|arXiv (Cornell University)|2023. 12. 22.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 종합 검토는 생성형 AI(Generative AI, GenAI) 워크로드에 특화된 메시지 브로커 프레임워크를 제안하며, 확장성, 장애 내성, 데이터 지속성과 같은 핵심 기준에서 기존의 전통적 및 현대적 퍼블리시/서브스크립션 브로커를 분석한다. 기존 시스템의 주요 한계를 밝혀내고 GenAI의 동적이고 고용량의 데이터 통신 요구사항을 충족하기 위한 강력하고 유연한 아키텍처를 제안한다.

ABSTRACT

In today's digital world, Generative Artificial Intelligence (GenAI) such as Large Language Models (LLMs) is becoming increasingly prevalent, extending its reach across diverse applications. This surge in adoption has sparked a significant increase in demand for data-centric GenAI models, highlighting the necessity for robust data communication infrastructures. Central to this need are message brokers, which serve as essential channels for data transfer within various system components. This survey aims to delve into a comprehensive analysis of traditional and modern message brokers, offering a comparative study of prevalent platforms. Our study considers numerous criteria including, but not limited to, open-source availability, integrated monitoring tools, message prioritization mechanisms, capabilities for parallel processing, reliability, distribution and clustering functionalities, authentication processes, data persistence strategies, fault tolerance, and scalability. Furthermore, we explore the intrinsic constraints that the design and operation of each message broker might impose, recognizing that these limitations are crucial in understanding their real-world applicability. Finally, this study examines the enhancement of message broker mechanisms specifically for GenAI contexts, emphasizing the criticality of developing a versatile message broker framework. Such a framework would be poised for quick adaptation, catering to the dynamic and growing demands of GenAI in the foreseeable future. Through this dual-pronged approach, we intend to contribute a foundational compendium that can guide future innovations and infrastructural advancements in the realm of GenAI data communication.

연구 동기 및 목표

• 기존 메시지 브로커가 생성형 AI(GenAI) 워크로드, 특히 대규모 언어 모델(LLM) 기반 워크로드에 적합한지 분석하기.
• 현재 메시지 브로커 아키텍처의 핵심 한계를 밝혀내어 GenAI의 고처리량, 저지연성 데이터 교환 요구사항을 효과적으로 지원하지 못하는 원인을 규명하기.
• 분산 및 동적 컴퓨팅 환경에서 진화하는 GenAI 애플리케이션의 요구사항을 최적화한 새로운, 적응 가능한 메시지 브로커 프레임워크를 제안하기.
• GenAI 네이티브 메시징 시스템을 구축하는 데 있어 핵심 과제와 기회를 부각시켜 향후 연구 및 인프라 개발을 이끌기.

제안 방법

• Apache Kafka, RabbitMQ, Amazon MQ, Google Cloud Pub/Sub, Azure Storage Queue, Amazon Kinesis, IronMQ를 포함한 12개의 주요 메시지 브로커를 대상으로 14개의 핵심 기준에서 종합적인 비교 분석을 수행하기.
• 클러스터링, 모니터링, 인증, 메시지 우선순위, 장애 내성, 푸시 및 풀 모델 메시징 패턴 지원 여부 등의 기능을 체계적으로 평가하기.
• 메시지 크기 제한, 연결 수 제한, 보장된 전달 기능 부재 등의 아키텍처적·운영적 제약을 특정하여 GenAI 적용에 제한을 초래하는 원인을 규명하기.
• 우수한 성능을 보이는 브로커들에서의 최선의 실천 사례를 통합하여 확장성, 수평적 확장성, 실시간 진단 기능을 중시하는 프레임워크를 종합적으로 제안하기.
• GenAI의 데이터 집약적 파이프라인에 맞게 메시지 라우팅, 로드 밸런싱, 상태 관리의 알고리즘적 및 아키텍처적 개선 사항을 제안하기.
• MLOps 및 지속적 진단 및 대응(CDM) 원칙을 통합하여 GenAI 메시징 스택에서 런타임 모니터링과 적응형 설정을 가능하게 하기.

실험 결과

연구 질문

• RQ1 기존 메시지 브로커가 GenAI 워크로드에 적용될 경우 나타나는 주요 아키텍처적 및 운영적 한계는 무엇인가요?
• RQ2 확장성, 장애 내성, 메시지 지속성, GenAI 환경에서의 병렬 처리 지원 등의 핵심 기준에서 서로 다른 메시지 브로커들이 어떻게 비교될 수 있나요?
• RQ3 GenAI 애플리케이션의 동적이고 고용량의 데이터 흐름을 효과적으로 지원하기 위해 메시지 브로커 프레임워크에 필수적인 설계 원칙과 구성 요소는 무엇인가요?
• RQ4 GenAI 파이프라인에서 실시간 진단, 모니터링, 적응형 자원 관리를 지원하기 위해 메시지 브로커 시스템은 어떻게 개선될 수 있나요?
• RQ5 퍼블리시/서브스크립션 패러다임과 브로커리스 대안은 GenAI 시스템을 위한 확장성 있고 내성적인 데이터 통신의 미래를 어떻게 형성할 수 있나요?

주요 결과

• 기존 메시지 브로커는 GenAI 워크로드에 있어 심각한 한계를 보이며, 예를 들어 Google Cloud Pub/Sub의 경우 메시지 크기 제한이 10MB, Azure Storage Queue는 64KB로 제한되며, Amazon MQ에서는 최대 1,000개의 연결 제한이 존재하고, 일부 설정에서는 보장된 전달 기능이 없음.
• Apache Kafka와 RabbitMQ는 클러스터링, 장애 내성, 지속적 스토리지 지원 측면에서 뛰어나, 스케일링 제약이 숨겨진 클라우드 관리 서비스보다 생산 환경에서 GenAI 파이프라인에 더 적합함.
• Google Cloud Pub/Sub 및 Amazon Kinesis와 같은 전용 브로커는 대규모 GenAI 구현에서 데이터 크기 제한과 고부하 상황에서의 레이트 리밋 동작으로 인해 제약을 겪음.
• 멀티프로토콜 통신, 분산 트레이싱, 실시간 스트림 분석 기능을 내장한 브로커(예: Apache Kafka, Amazon Kinesis)는 복잡한 GenAI 데이터 파이프라인에 더 높은 적응성을 보임.
• 현재 GenAI 인프라에서 메시지 브로커 간 상호운용성 및 동적 설정을 위한 표준화되고 확장 가능한 프레임워크의 부재가 핵심 격차로 남아 있음.
• 제안된 메시지 브로커 프레임워크는 동적 메시지 라우팅, 푸시 및 풀 모델 모두 지원, 실시간 모니터링 등의 고급 기능을 통합하여 GenAI 시스템에서 높은 서비스 품질(QoS)을 보장해야 함.