[논문 리뷰] Machine Learning-based Orchestration of Containers: A Taxonomy and Future Directions

Zhiheng Zhong, Minxian Xu외 3명|arXiv (Cornell University)|2021. 06. 24.

Cloud Computing and Resource Management인용 수 8

한 줄 요약

이 논문은 2016–2021년 기간 동안 기계학습 기반 컨테이너 오케스트레이션 기술을 종합적으로 분류하고 체계적으로 검토하며, 목표, 메트릭, 시스템 아키텍처별로 접근 방식을 분류한다. 동적 워크로드 처리, 자원 이질성, 다차원 최적화와 같은 핵심 과제를 규명하고 하이브리드 및 엣지 클라우드 환경에서 완전 통합된 기계학습 기반 오케스트레이션 프레임워크를 위한 로드맵을 제안한다.

ABSTRACT

Containerization is a lightweight application virtualization technology, providing high environmental consistency, operating system distribution portability, and resource isolation. Existing mainstream cloud service providers have prevalently adopted container technologies in their distributed system infrastructures for automated application management. To handle the automation of deployment, maintenance, autoscaling, and networking of containerized applications, container orchestration is proposed as an essential research problem. However, the highly dynamic and diverse feature of cloud workloads and environments considerably raises the complexity of orchestration mechanisms. Machine learning algorithms are accordingly employed by container orchestration systems for behavior modelling and prediction of multi-dimensional performance metrics. Such insights could further improve the quality of resource provisioning decisions in response to the changing workloads under complex environments. In this paper, we present a comprehensive literature review of existing machine learning-based container orchestration approaches. Detailed taxonomies are proposed to classify the current researches by their common features. Moreover, the evolution of machine learning-based container orchestration technologies from the year 2016 to 2021 has been designed based on objectives and metrics. A comparative analysis of the reviewed techniques is conducted according to the proposed taxonomies, with emphasis on their key characteristics. Finally, various open research challenges and potential future directions are highlighted.

연구 동기 및 목표

• 동적, 이종적, 대규모 클라우드 환경에서 히우리스틱 기반 컨테이너 오케스트레이션의 한계를 해결하기 위해.
• 2016년에서 2021년까지 기계학습 응용 기술의 진화를 다양한 목표와 성능 메트릭에 따라 분석하기 위해.
• 시스템 아키텍처, 학습 파aradigm, 최적화 목표를 기반으로 한 세부적인 분류 체계를 활용해 기존 기계학습 기반 접근 방식을 분류하기 위해.
• 미래 오케스트레이션 시스템을 위한 다차원 최적화, 에너지 효율성, 엣지 지능과 관련된 열린 과제를 규명하기 위해.
• 종단 간 오케스트레이션 의사결정을 수행할 수 있는 완전 통합된 기계학습 기반 최적화 엔진 개발을 위한 로드맵을 제안하기 위해.

제안 방법

• 2016년에서 2021년까지 기계학습 기반 컨테이너 오케스트레이션에 관한 동료 심사 논문을 대상으로 체계적 문헌 검토를 수행하기 위해.
• 학습 파라다임(예: 지도 학습, 강화 학습 등), 시스템 아키텍처(중앙집중형, 분산형), 최적화 목표(지연, 비용, 에너지 등)를 기반으로 다차원 분류 체계를 제안하기 위해.
• 자동 스케일링, 로드 밸런싱, SLA 준수 등 목표에 따라 연구 기여 사항의 진화를 맵핑하여 분석하기 위해.
• 모델 유형, 학습 데이터 소스, 추론 지연, 배포 환경(클라우드, 엣지, 하이브리드) 등의 주요 특성에 따라 기술들을 비교하기 위해.
• 오프라인 학습과 온라인 추론을 모두 지원하는 완전 통합된 기계학습 기반 최적화 엔진을 위한 기준 아키텍처를 설계하기 위해.
• 분산된 엣지 및 퍼그 환경에서 실시간, 저지연 의사결정을 위해 분산형 엣지 지능 에이전트의 타당성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 2016년에서 2021년 사이에 기계학습 기술이 컨테이너 오케스트레이션 시스템에서 목표와 성능 메트릭 측면에서 어떻게 진화했는가?
• RQ2 현재 기계학습 기반 컨테이너 오케스트레이션 솔루션에서 지배적인 학습 파라다임과 시스템 아키텍처는 무엇인가?
• RQ3 기존 히우리스틱 기반 오케스트레이션 시스템이 동적, 이종적, 대규모 워크로드를 처리하는 데에 겪는 주요 제약은 무엇인가?
• RQ4 기계학습 모델을 어떻게 효과적으로 오케스트레이션 파이프라인에 통합하여 실시간, 다차원 최적화 의사결정을 지원할 수 있는가?
• RQ5 완전 통합되고 확장 가능하며 에너지 인지적인 기계학습 기반 오케스트레이션 프레임워크를 구축하기 위한 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 기존 기계학습 기반 오케스트레이션 시스템 대부분은 부분적으로 통합된 엔진을 사용하며, 기계학습 모델이 종단 간 의사결정에 사용되지 않고 행동 모델링에만 활용된다.
• 강화 학습과 지도 학습이 주로 사용되며, 강화 학습은 동적 자동 스케일링과 로드 밸런싱 분야에서 잠재력을 보이고 있다.
• 워크로드 예측과 자원 활용도 모델링과 함께 기계학습 기반으로 에너지 인지 메커니즘(예: 브라운아웃 기법 등)을 통합하는 것은 가능하다.
• 비용, 지연, SLA 위반을 균형 잡는 다차원 최적화 문제는 여전히 주요 과제이며, 성능 분해를 위한 표준 기준이 존재하지 않는다.
• 지리적으로 분산된 엣지 및 퍼그 컴퓨팅 인fra에서 저지연, 확장 가능한 오케스트레이션을 위해 분산형 엣지 지능 에이전트가 필수적이다.
• 오프라인 학습과 온라인 추론을 모두 통합할 수 있는 완전 통합된 기계학습 기반 최적화 엔진 개발은 아직 열린 연구 과제이지만, 향후 시스템에 높은 잠재력을 지닌다.