[논문 리뷰] The NebulaStream Platform: Data and Application Management for the Internet of Things

Steffen Zeuch, Ankit Chaudhary외 7명|arXiv (Cornell University)|2019. 10. 17.

IoT and Edge/Fog Computing참고 문헌 35인용 수 30

한 줄 요약

NebulaStream는 사물인터넷(IoT)을 위한 일반 목적의 엔드 투 엔드 데이터 관리 플랫폼으로, 센서, 퍼그, 클라우드 계층 간의 데이터 및 애플리케이션 관리를 통합한다. 이 플랫폼은 이질성, 신뢰할 수 없는 통신, 동적 변화에 대응하기 위해 다양한 하드웨어에서 분산형으로 적응형 쿼리 처리를 가능하게 하며, 초기 결과에서는 중앙 집중형 클라우드 모델을 초월한 확장성을 입증하고 있다.

ABSTRACT

The Internet of Things (IoT) presents a novel computing architecture for data management: a distributed, highly dynamic, and heterogeneous environment of massive scale. Applications for the IoT introduce new challenges for integrating the concepts of fog and cloud computing as well as sensor networks in one unified environment. In this paper, we highlight these major challenges and outline how existing systems handle them. To address these challenges, we introduce the NebulaStream platform, a general purpose, endto-end data management system for the IoT. NebulaStream addresses the heterogeneity and distribution of compute and data, supports diverse data and programming models going beyond relational algebra, deals with potentially unreliable communication, and enables constant evolution under continuous operation. In our evaluation, we demonstrate the effectiveness of our approach by providing early results on partial aspects.

연구 동기 및 목표

• 클라우드 중심 또는 퍼그 중심인 기존의 IoT 데이터 관리 시스템이 센서, 퍼그, 클라우드 자원을 통합하지 못하는 한계를 해결한다.
• IoT 환경에서의 하드웨어 이질성, 신뢰할 수 없는 통신, 동적 시스템 진화의 과제를 극복한다.
• 관계 대칭을 초월한 다양한 데이터 모델과 프로그래밍 추상화를 지원함으로써 분산형 이종 장치 간의 엔드 투 엔드 실시간 데이터 처리를 가능하게 한다.
• 동적 쿼리 재구성 및 신뢰성 없는 네트워크에서의 장애 내성 기능을 포함한 지속적인 운영과 진화를 지원하는 시스템을 설계한다.
• 센서, 퍼그, 클라우드 계층 간의 운영자 재정렬, 융합, 분할과 같은 교차 패러다임 최적화를 가능하게 하는 통합 플랫폼을 제공한다.

제안 방법

• 센서, 퍼그, 클라우드 계층을 아우르는 스트리밍 쿼리 처리를 지원하는 분산형 이벤트 기반 아키텍처를 설계한다.
• 퍼그 인식 쿼리 배치 및 실행을 구현하여 엣지 장치를 활용해 초기 데이터 감소 및 저지연 처리를 달성한다.
• 다양한 프로그래밍 모델과 데이터 추상화를 지원하며, 복잡한 실시간 워크로드를 수용하기 위해 관계 대칭을 초월한다.
• 신뢰할 수 없는 통신과 노드 장애를 처리하기 위한 장애 내성 메커니즘을 통합하며, 중간 결과의 복제 및 복구를 포함한다.
• 실행 중 시스템 조건과 하드웨어 가용성 변화에 대응하기 위해 런타임 동안 쿼리 계획을 동적으로 적응시킨다.
• 무선 센서 네트워크(예: 네트워크 내 집계)와 클라우드/스트림 처리 시스템(예: Flink, Kafka)의 개념을 융합하여 통합적이고 확장 가능한 플랫폼을 구축한다.

실험 결과

연구 질문

• RQ1 센서, 퍼그 장치, 클라우드 서버 간의 계산 자원 이질성을 효과적으로 다룰 수 있는 통합 데이터 관리 시스템은 어떻게 설계할 수 있는가?
• RQ2 동적이고 신뢰할 수 없는 IoT 환경에서 지속적이고 진화하는 쿼리 실행을 지원하기 위해 필요한 아키텍처적 및 런타임 메커니즘은 무엇인가?
• RQ3 센서-퍼그-클라우드 스택 전반에 걸쳐 데이터 처리를 효율적으로 오프로드하여 지연 시간과 대역폭 사용을 최소화할 수 있는 방법은 무엇인가?
• RQ4 분산형 IoT 시스템에서 간헐적인 연결성과 노드 장애에 대응하기 위해 장애 내성과 복원력을 확보할 수 있는 메커니즘은 무엇인가?
• RQ5 다양한 프로그래밍 모델과 데이터 추상화에서 IoT 워크로드에 일반 목적의 확장 가능한 데이터 처리를 달성하기 위한 방법은 무엇인가?

주요 결과

• 중앙 집중형 클라우드 기반 접근 방식(예: Kafka + Flink)은 약 20개의 IoT 데이터 생성자에서 포화 상태에 도달하며, Kafka의 메시 백로그로 인해 종단 간 지연 시간이 증가한다.
• NebulaStream 플랫폼은 퍼그와 센서 노드를 통해 데이터 소스에 가까이 계산을 분산시킴으로써 확장 가능하고 저지연 처리를 가능하게 하여 중앙 집중적 버팀목을 피한다.
• 초기 실험 결과는 NebulaStream이 수백만 개의 분산된 데이터 소스를 통해 고처리량 처리를 지속할 수 있으며, 하중이 가해진 상황에서 중앙 집중형 모델을 능가함을 보여준다.
• 플랫폼은 동적 쿼리 적응 및 장애 내성 기능을 지원하여 신뢰성 없는 통신과 노드 장애 상황에서도 지속적인 운영을 가능하게 한다.
• NebulaStream은 저전력 센서에서 고성능 클라우드 서버에 이르기까지 이질적인 장치들을 단일 통합 데이터 처리 파이프라인에 성공적으로 통합한다.
• 센서 네트워크, 퍼그 컴퓨팅, 클라우드 스트림 처리 기법을 융합함으로써 운영자 재정렬 및 워크로드 오프로드와 같은 교차 계층 최적화를 가능하게 한다.