[논문 리뷰] Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions

Marcos Dias de Assunção, Alexandre da Silva Veith외 1명|arXiv (Cornell University)|2017. 09. 05.

Cloud Computing and Resource Management참고 문헌 78인용 수 5

한 줄 요약

이 논문은 클라우드 및 엣지 컴퓨팅 환경에서 스트림 처리 엔진과 자원 탄력성 메커니즘을 조사하며, 변동하는 워크로드에 대응하기 위한 동적 스케일링에 초점을 맞춘다. 하이브리드 아키텍처에서의 탄력성 도전 과제에 대한 통합적 이해를 제안하고, 분산된 이질적 인프라 전반에서의 구현을 단순화하기 위해 고수준 프로그래밍 추상화를 권장한다. 이는 사물인터넷 및 스마트 시티 응용 분야에서 효율적이고 저지연 처리를 가능하게 한다.

ABSTRACT

Under several emerging application scenarios, such as in smart cities, operational monitoring of large infrastructure, wearable assistance, and Internet of Things, continuous data streams must be processed under very short delays. Several solutions, including multiple software engines, have been developed for processing unbounded data streams in a scalable and efficient manner. More recently, architecture has been proposed to use edge computing for data stream processing. This paper surveys state of the art on stream processing engines and mechanisms for exploiting resource elasticity features of cloud computing in stream processing. Resource elasticity allows for an application or service to scale out/in according to fluctuating demands. Although such features have been extensively investigated for enterprise applications, stream processing poses challenges on achieving elastic systems that can make efficient resource management decisions based on current load. Elasticity becomes even more challenging in highly distributed environments comprising edge and cloud computing resources. This work examines some of these challenges and discusses solutions proposed in the literature to address them.

연구 동기 및 목표

• 변동하는 워크로드 하에서 분산 스트림 처리 시스템에서 효율적인 자원 탄력성 확보의 과제를 해결한다.
• 실시간 데이터 처리에서 지연 시간과 네트워크 오버헤드를 줄이기 위해 클라우드와 엣지 컴퓨팅을 공동으로 활용하는 방법을 검토한다.
• 특히 하이브리드 클라우드-엣지 환경에서 자원 탄력성 관리 측면에서 기존 스트림 처리 프레임워크의 격차를 규명한다.
• 이질적 인프라 전반에서 원활한 배포와 탄력성을 지원하는 고수준 프로그래밍 추상화의 필요성을 탐색한다.
• 분산 및 제약 조건이 있는 환경에서 적응형, 장애 내성적이고 확장 가능한 스트림 처리를 위한 향후 연구 방향을 요약한다.

제안 방법

• 아키텍처의 진화와 실행 모델에 따라 스트림 처리 엔진을 세 세대로 분류한다.
• 클라우드 기반 스트림 처리 플랫폼의 기존 탄력성 메커니즘을 분석하며, 자동 스케일링과 동적 자원 할당에 중점을 둔다.
• 엣지 컴퓨팅 통합을 스트림 처리에 대해 평가하며, 작업 배치, 데이터 플로우 적응 및 지연 시간 감소 전략을 포함한다.
• Apache Beam과 Apache Quarks/Edgent와 같은 프로그래밍 모델을 검토하여 클라우드 및 엣지 환경 간의 이식성과 추상화를 가능하게 한다.
• 분산 스트림 처리 시스템에서 탄력성과 장애 내성 향상을 위해 컨테이너 기반 배포를 분석한다.
• SDN과 인지 모델을 활용하여 하이브리드 클라우드-엣지 아키텍처에서 응용 프로그램 배치와 데이터 플로우 라우팅을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 현대 스트림 처리 엔진은 변동하는 데이터 워크로드에 대응하여 자원 탄력성을 어떻게 관리하는가?
• RQ2 클라우드 및 엣지 컴퓨팅 인프라를 통해 데이터 스트림을 처리할 때 탄력적 자원 관리 달성에 있어 핵심 과제는 무엇인가?
• RQ3 하이브리드 분산 환경에서 스트림 처리 응용 프로그램의 개발 및 배포를 단순화하기 위해 고수준 프로그래밍 추상화는 어떻게 활용될 수 있는가?
• RQ4 클라우드와 네트워크 엣지에 스트림 처리 연산자를 배치할 때의 상호 상충 관계는 무엇인가?
• RQ5 엣지에 배포된 스트림 처리 파이프라인에서 기계 학습 모델의 개념 드리프트는 어떻게 감지하고 관리할 수 있는가?

주요 결과

• 비용 효율성과 성능 향상 측면에서 중요시되지만, 특히 변동성이 큰 분산 환경에서 스트림 처리의 자원 탄력성은 여전히 탐색이 부족한 분야이다.
• 마이크로배치 처리 프레임워크는 연속 처리 모델 대비 느린 작업(스트래글러)을 더 효과적으로 처리함으로써 장애 내성과 확장성을 향상시킨다.
• 엣지 컴퓨팅은 데이터 소스 근처에서 로컬로 데이터 처리를 가능하게 하여 지연 시간과 네트워크 사용량을 줄이며, 특히 사물인터넷 및 실시간 모니터링 응용 분야에서 유리하다.
• Apache Beam과 같은 기존 프로그래밍 모델은 Flink 및 Spark와 같은 백엔드 간의 이식성을 가능하게 하지만, 엣지 배포 및 탄력성에 대한 완전한 지원이 부족하다.
• 컨테이너화와 플랫폼 바인딩(예: Apache Quarks/Edgent)은 이질적이고 분산된 아키텍처에서 배포 유연성과 탄력성 관리 능력을 향상시킨다.
• 클라우드와 엣지 간 스트림 처리 연산자의 최적 배치 문제는 여전히 복잡하고 열려 있는 과제이며, 데이터 플로우, 자원 사용량, 네트워크 제약 조건을 공동으로 최적화할 필요가 있다.