[논문 리뷰] Floe: A Continuous Dataflow Framework for Dynamic Cloud Applications

Yogesh Simmhan, Alok Gautam Kumbhare|arXiv (Cornell University)|2014. 06. 23.

Cloud Computing and Resource Management참고 문헌 19인용 수 6

한 줄 요약

Floe는 동적 클라우드 애플리케이션을 위한 연속형 데이터플로우 프레임워크로, 변동하는 데이터 속도와 지연 시간 요구 사항에 맞춰 런타임에서 데이터플로우 로직과 자원 할당을 동적으로 조정할 수 있도록 지원한다. 이 프레임워크는 MapReduce 및 BSP와 같은 고급 패턴을 지원하며, 다양한 워크로드에서 지연 시간 위반을 최소화하면서 자원을 절약하는 혼합형 자원 할당 전략을 사용한다.

ABSTRACT

Applications in cyber-physical systems are increasingly coupled with online instruments to perform long running, continuous data processing. Such "always on" dataflow applications are dynamic, where they need to change the applications logic and performance at runtime, in response to external operational needs. Floe is a continuous dataflow framework that is designed to be adaptive for dynamic applications on Cloud infrastructure. It offers advanced dataflow patterns like BSP and MapReduce for flexible and holistic composition of streams and files, and supports dynamic recomposition at runtime with minimal impact on the execution. Adaptive resource allocation strategies allow our framework to effectively use elastic Cloud resources to meet varying data rates. We illustrate the design patterns of Floe by running an integration pipeline and a tweet clustering application from the Smart Power Grids domain on a private Eucalyptus Cloud. The responsiveness of our resource adaptation is validated through simulations for periodic, bursty and random workloads.

연구 동기 및 목표

• 기존 데이터플로우 프레임워크에서 응용 프로그램 로직과 구성이 다시 조합되고 다시 시작되어야 하는 런타임 다이나믹스 지원 부족 문제를 해결하기 위해.
• MapReduce, BSP, 스트림 처리와 같은 다양한 데이터플로우 패턴을 하나의 확장 가능한 프레임워크 내에서 통합적으로 구성할 수 있도록 하기 위해.
• 변동하는 데이터 속도와 성능 목표에 따라 동적으로 조정되는 클라우드 환경에서의 적응형 자원 할당을 지원하기 위해.
• 장기간 실행되는 연속형 데이터플로우 애플리케이션에서 런타임 업데이트 동안 낮은 지연 시간 실행과 데이터 손실 최소화를 유지하기 위해.
• 스마트 전력망 분야의 실제 사례를 활용하여 주기적, 폭발적, 무작위 워크로드 하에서 프레임워크의 반응성과 효율성을 평가하기 위해.

제안 방법

• Floe는 '페렛'이라고 불리는 일급 처리 단위를 포함하는 모듈러 아키텍처를 사용하며, 이는 로직을 캡슐화하고 런타임에서 동적으로 업데이트할 수 있다.
• 스트림 처리, MapReduce, 대규모 동기화 병렬(Bulk Synchronous Parallel, BSP)을 포함한 다양한 데이터플로우 추상화를 지원하여 데이터플로우의 탄력적 조합을 가능하게 한다.
• 정적 사전 예측, 동적, 혼합 전략의 세 가지 자원 할당 전략을 적용하여 데이터 특성과 자원 사용을 추정하고 조정한다.
• 런타임 다이나믹스는 데이터플로우를 중단하지 않고도 페렛 로직을 현장에서 업데이트함으로써 달성되며, 실시간 스트림의 지속적 처리를 보장한다.
• 데이터 병렬 처리와 로드 밸런싱 패턴(예: 기반 데이터 선택, 라운드 로빈)을 사용하여 워크로드를 클라우드 자원에 효율적으로 분산한다.
• 성능는 Eucalyptus 클라우드에서 실세계 애플리케이션(스마트 전력망 분야의 통합 파이프라인 및 트윗 클러스터링 시스템)을 대상으로 시뮬레이션을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 장기간 지속되는 연속형 실시간 데이터 처리 파이프라인에서 실행을 중단하지 않고도 응용 프로그램 로직에 대한 동적 업데이트를 어떻게 지원할 수 있는가?
• RQ2 주기적, 폭발적, 또는 무작위 워크로드에서 다양한 데이터 속도 하에서 지연 시간을 최소화하는 데 가장 효과적인 자원 할당 전략은 무엇인가?
• RQ3 MapReduce 및 BSP와 같은 고급 데이터플로우 패턴을 하나의 프레임워크 내에서 원천적으로 조합할 수 있는가? 이때 성능과 확장성은 어떻게 유지되는가?
• RQ4 하이브리드 자원 할당 전략은 클라우드 기반 데이터플로우에서 지연 시간 준수와 자원 효율성 사이의 균형을 어느 정도 잘 맞출 수 있는가?
• RQ5 통합된 프레임워크는 스트림, 파일, 컬렉션과 같은 다양한 데이터 유형과 스트리밍, 배치, 반복 처리 모델을 하나의 확장 가능한 아키텍처에서 효과적으로 통합할 수 있는가?

주요 결과

• 하이브리드 자원 할당 전략은 최적의 성능 대비 0.98의 성능 비율을 기록하여 지연 시간 준수와 자원 효율성 사이의 최적 균형을 달성했다.
• 정적 사전 예측 전략은 동적 및 하이브리드 전략과 거의 동일한 자원을 사용했지만 성능가 훨씬 열 劣하므로 적응성의 비효율성을 보여주었다.
• 프레임워크는 데이터 손실 없이 페렛 로직의 현장 업데이트를 성공적으로 지원하여 연속형 데이터플로우에서 진정된 런타임 다이나믹스를 실현했다.
• 시뮬레이션 결과, 하이브리드 전략은 주기적, 폭발적, 무작위 워크로드 전반에서 지연 시간 위반을 효과적으로 제한하면서 자원을 절약하는 데 성공했다.
• 프레임워크는 통합 파이프라인, MapReduce 기반 예측, 그래프 분석을 포함한 복잡한 다중 패턴 데이터플로우를 하나의 실행 환경에서 효과적으로 지원함을 입증했다.
• Floe의 아키텍처는 스트림 처리, MapReduce, BSP와 같은 다양한 데이터플로우 추상화를 복잡한 조율 없이도 원활하게 조합할 수 있도록 한다.