[논문 리뷰] How Can AI be Distributed in the Computing Continuum? Introducing the Neural Pub/Sub Paradigm

Lauri Lovén, Roberto Morabito외 4명|arXiv (Cornell University)|2023. 09. 05.

Brain Tumor Detection and Classification인용 수 5

한 줄 요약

이 논문은 컴퓨팅 컨티누üm 전역에서 AI 워크플로우를 조율하기 위한 탈중앙화되고 이벤트 기반의 프레임워크인 Neural Pub/Sub 파라다임을 소개한다. 신경망 인식 스케줄링을 활용한 발행/구독 메시징을 통해 엣지, 퍼그, 클라우드 리소스에 걸쳐 훈련, 피닝튜닝, 추론 워크로드를 확장성 있고 내성적이며 동적으로 분산할 수 있게 하여, 5G 기반의 AI 집약적 환경에서 자원 활용도와 시스템 반응성을 크게 향상시킨다.

ABSTRACT

This paper proposes the neural publish/subscribe paradigm, a novel approach to orchestrating AI workflows in large-scale distributed AI systems in the computing continuum. Traditional centralized broker methodologies are increasingly struggling with managing the data surge resulting from the proliferation of 5G systems, connected devices, and ultra-reliable applications. Moreover, the advent of AI-powered applications, particularly those leveraging advanced neural network architectures, necessitates a new approach to orchestrate and schedule AI processes within the computing continuum. In response, the neural pub/sub paradigm aims to overcome these limitations by efficiently managing training, fine-tuning and inference workflows, improving distributed computation, facilitating dynamic resource allocation, and enhancing system resilience across the computing continuum. We explore this new paradigm through various design patterns, use cases, and discuss open research questions for further exploration.

연구 동기 및 목표

• 5G 및 IoT 디바이스에서 유입되는 막대한 데이터를 처리하는 대규모 분산 시스템에서 중심화된 AI 조율의 확장성 및 지연 문제를 해결한다.
• 이질적인 엣지, 퍼그, 클라우드 인fra구처에서 동적이고 고용량의 AI 워크로드를 관리하는 데 있어 전통적인 브로커 기반 시스템의 한계를 극복한다.
• 훈련, 피닝튜닝, 추론을 포함한 AI 프로세스를 컴퓨팅 컨티누üm 전역에서 효율적이고 내성적이며 적응 가능한 방식으로 스케줄링할 수 있도록 한다.
• 계산을 고정된 제어 흐름에서 분리하고 지능 인식 리소스 할당을 도입하여 초신뢰성, 저지연 AI 응용을 지원한다.
• 실시간 워크로드 수요와 리소스 가용성에 적응하는 동적이고 이벤트 기반의 AI 조율 기반 시설을 제공한다.

제안 방법

• AI 모델 업데이트, 데이터 스트림, 추론 요청을 이벤트로 발행하여 분리되고 확장 가능한 메시지 큐에 연결하는 신경망 인식 발행/구독 메시징 모델을 제안한다.
• 신경망 특성(예: 모델 크기, 추론 지연, 업데이트 빈도)을 메시지 라우팅 및 구독 로직에 통합하여 자원 할당을 최적화한다.
• 지리적으로 분산된 배포를 지원하는 분산 이벤트 브로커 아키텍처를 설계하여 엣지 및 클라우드 노드 전역에서 AI 서비스에 저지연 액세스를 가능하게 한다.
• 실시간 데이터 수신 및 시스템 로드 조건에 기반해 이벤트 기반 트리거를 사용하여 AI 워크플로우를 동적으로 시작하고 확장한다.
• 클라이언트가 관련성이 있는 AI 출력 또는 모델 업데이트만 수신할 수 있도록 세밀한 구독 정책을 지원하여 네트워크 오버헤드를 줄이고 효율성을 향상시킨다.
• 실시간 성능 및 가용성 메트릭 기반으로 AI 작업을 재루팅할 수 있도록 AI 작업을 일급 이벤트로 모델링하여 워크로드 이동 및 로드 밸런싱을 가능하게 한다.

실험 결과

연구 질문

• RQ1 컴퓨팅 컨티누üm의 이질적이고 동적이며 탈중앙화된 리소스 전역에서 AI 워크로드를 어떻게 효율적으로 조율할 수 있는가?
• RQ2 5G 및 엣지 환경에서 AI 훈련, 피닝튜닝, 추론의 저지연, 확장성 있고 내성적인 분산을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 이벤트 기반 메시징을 어떻게 신경 지능으로 확장하여 자원 할당 및 워크로드 스케줄링을 최적화할 수 있는가?
• RQ4 AI 컴포onent이 신뢰할 수 없거나 변동성이 큰 네트워크 세그먼트에 분산되어 있을 경우 시스템의 내성성과 장애 내성성을 보장하는 메커니즘은 무엇인가?
• RQ5 신경 발행/구독 모델은 고속도의 AI 데이터와 동적 워크로드를 처리하는 데 있어 전통적인 중심화 브로커보다 어떻게 뛰어나게 되는가?

주요 결과

• 신경 발행/구독 파라다임은 중앙 집중형 브로커에 대한 의존도를 줄이고 시스템의 확장성을 향상시키는 동적이고 이벤트 기반의 AI 워크플로우 조율을 가능하게 한다.
• AI 작업을 신경망 인식 메타데이터가 있는 이벤트로 모델링함으로써 엣지, 퍼그, 클라우드 계층 전역에서 더 효율적이고 적응 가능한 자원 할당이 달성된다.
• 탈중앙화된 제어와 메시지 기반 조율을 통해 아키텍처는 단일 장애 지점의 최소화로 더 높은 내성성을 확보한다.
• 지능적인 구독 정책의 사용은 네트워크 오버헤드를 줄이고 관련성이 있는 AI 출력만 전송되도록 보장하여 대역폭 효율성을 향상시킨다.
• 실시간 시스템 피드백 기반으로 실시간 워크로드 이동 및 로드 밸런싱을 가능하게 하여 초저지연, 초신뢰성 AI 서비스를 지원한다.
• 설계 패턴과 사용 사례는 5G 및 IoT 환경에서 복잡한 AI 워크로드를 강력한 성능 및 적응 가능성 보장을 바탕으로 구현할 수 있음을 입증한다.