[논문 리뷰] Multiple Workflows Scheduling in Multi-tenant Distributed Systems: A Taxonomy and Future Directions

Muhammad Hafizhuddin Hilman, Maria A. Rodriguez외 1명|arXiv (Cornell University)|2018. 09. 14.

Cloud Computing and Resource Management인용 수 6

한 줄 요약

이 논문은 클라우드 및 그리드 플랫폼 간에 확장성 있고 효율적이며 안전한 워크플로우 오케스트레이션을 위한 다중 워크플로우 스케줄링에 대한 종합적인 분류 체계와 서베이를 제안한다. 다중 임차 환경에서의 워크로드 이질성, 자원 할당, 공정성 및 QoS 도전 과제에 초점을 맞추며, 스케줄링 목표, 환경, 다중 임차 지원 등 차원을 기반으로 기존 알고리즘을 분류하여 연구 격차를 규명하고 향후 연구 방향을 안내한다.

ABSTRACT

The workflow is a general notion representing the automated processes along with the flow of data. The automation ensures the processes being executed in the order. Therefore, this feature attracts users from various background to build the workflow. However, the computational requirements are enormous and investing for a dedicated infrastructure for these workflows is not always feasible. To cater to the broader needs, multi-tenant platforms for executing workflows were began to be built. In this paper, we identify the problems and challenges in the multiple workflows scheduling that adhere to the platforms. We present a detailed taxonomy from the existing solutions on scheduling and resource provisioning aspects followed by the survey of relevant works in this area. We open up the problems and challenges to shove up the research on multiple workflows scheduling in multi-tenant distributed systems.

연구 동기 및 목표

• 다중 임차 분산 시스템에서 다수의 과학적 및 빅데이터 워크플로우 스케줄링의 核심 과제를 식별하고 분석하는 것.
• 다양한 QoS 요구사항과 다수의 임차 간 자원 경쟁을 포함한 이질적 워크로드를 관리하는 복잡성을 다루는 것.
• 스케줄링 목표, 환경, 다중 임차 지원 등의 핵심 차원을 기반으로 기존 스케줄링 알고리즘을 분류하기 위한 체계적인 분류 체계를 제안하는 것.
• 기존 문헌 솔루션을 조사하고 분류하여 스케일러블하고 효율적인 워크플로우 스케줄링 분야의 연구 격차를 부각하고 향후 연구를 안내하는 것.
• 다중 임차 플랫폼 내에서 공정성, 에너지 효율성, 프라이버시 및 IoT 통합 워크플로우와 같은 새로운 연구 방향을 열어내는 것.

제안 방법

• 스케줄링 목표(예: 마케이스팬, 비용, 에너지), 환경(클라우드, 그릭드, 클러스터) 및 다중 임차 특성 등의 기반으로 다차원 분류 체계를 개발하였다.
• 제안된 분류 체계에 따라 문헌에서 15개 이상의 기존 워크플로우 스케줄링 알고리즘을 분류하여 현재 연구 트렌드와 격차를 맵핑하였다.
• 목표가 다중인 리스트 기반 휴리스틱 기법(예: MOHEFT, DPDS)과 다중 목표 최적화 기법을 활용해 다중 워크플로우를 동시에 처리하는 스케줄링 기법을 분석하였다.
• 동적 스케일링, 가상화 오버헤드 관리 및 인프라 수준 최적화(예: 라이브 마이그레이션)를 포함한 자원 할당 전략을 평가하였다.
• 암호화 기반 보안 기법과 하이브리드 클라우드 실행 모델을 포함한 프라이버시 인식 및 보안 통합 스케줄링 접근법을 검토하였다.
• IoT 및 데이터 집약적 워크플로우와 같은 신규 워크로드를 탐색하며, 대역폭과 지연 시간에 중점을 둔 네트워크 인지 스케줄링 요구사항을 강조하였다.

실험 결과

연구 질문

• RQ1 다중 임차 분산 시스템에서 이질적인 워크플로우 여러 개를 스케줄링하는 데 있어 핵심 과제는 무엇인가?
• RQ2 기존 스케줄링 알고리즘은 공유 환경에서 다중 목표 최적화(예: 비용, 마케이스팬, 에너지)를 어떻게 다루는가?
• RQ3 다수의 임차 간 공정성, 격리성 및 QoS 보장을 둘러싼 현재 연구에서의 주요 격차는 무엇인가?
• RQ4 성능 저하 없이 프라이버시와 보안을 다중 워크플로우 스케줄링에 효과적으로 통합할 수 있는 방법은 무엇인가?
• RQ5 다중 임차 플랫폼 내에서 IoT 및 실시간 데이터 분석과 같은 신규 워크로드의 고유한 스케줄링 요구사항은 무엇인가?

주요 결과

• 기존 분류 체계는 주로 단일 워크플로우 또는 다중 임차가 아닌 환경에 집중되어 있어, 다중 임차 및 다중 워크플로우 환경에 대한 종합적 분류 측면에서 상당한 격차가 존재한다.
• MOHEFT 및 DPDS와 같은 리스트 기반 휴리스틱 기법은 낮은 사전 처리 오버헤드 덕분에 다중 워크플로우 환경에서 경량이고 확장 가능한 스케줄링에 유망한 성능을 보인다.
• 에너지 효율적 스케줄링은 지능적인 로드 할당을 통한 워크로드 수준에서 점점 더 다루어지고 있으나, 라이브 마이그레이션과 같은 인프라 수준 기법은 여전히 활용이 부족하다.
• 프라이버시 인식 스케줄링은 여전히 미발전 단계에 있으며, 대부분의 솔루션은 단일 워크플로우를 대상으로 하거나 비용-보안 트레이드오프에 집중할 뿐, 다중 임차 환경에서의 데이터 기밀성 확보에는 미흡하다.
• IoT 및 네트워크 집약적 워크플로우는 대역폭과 지연 시간을 우선시하는 특수한 스케줄링 모델이 필요하지만, 현재 프레임워크에서는 자주 간과된다.
• 실제 다중 임차 시스템에서 동적 자원 할당, 다중 목표 최적화 및 보안, 에너지, 성능 등의 교차 계층적 고려사항을 지원하는 통합적이고 적응형 스케줄링 프레임워크의 명백한 필요성이 존재한다.