[논문 리뷰] FIRM: An Intelligent Fine-Grained Resource Management Framework for SLO-Oriented Microservices

Haoran Qiu, Subho S. Banerjee외 3명|arXiv (Cornell University)|2020. 08. 19.

Software System Performance and Reliability참고 문헌 86인용 수 64

한 줄 요약

FIRM은 SLO 위반을 감지하고 마이크로서비스의 지점 로컬라이즈를 수행하며, 미세한 수준의 경합을 식별하고 RL 주도 재할당 및 확장을 통해 문제를 완화하는 ML 기반 프레임워크입니다.

ABSTRACT

Modern user-facing latency-sensitive web services include numerous distributed, intercommunicating microservices that promise to simplify software development and operation. However, multiplexing of compute resources across microservices is still challenging in production because contention for shared resources can cause latency spikes that violate the service-level objectives (SLOs) of user requests. This paper presents FIRM, an intelligent fine-grained resource management framework for predictable sharing of resources across microservices to drive up overall utilization. FIRM leverages online telemetry data and machine-learning methods to adaptively (a) detect/localize microservices that cause SLO violations, (b) identify low-level resources in contention, and (c) take actions to mitigate SLO violations via dynamic reprovisioning. Experiments across four microservice benchmarks demonstrate that FIRM reduces SLO violations by up to 16x while reducing the overall requested CPU limit by up to 62%. Moreover, FIRM improves performance predictability by reducing tail latencies by up to 11x.

연구 동기 및 목표

• 지연 민감한 마이크로서비스에서 SLO 위반을 줄이기 위해 미세한 자원 멀티플렉싱의 필요성을 촉진합니다.
• 마이크로서비스 단위에서 근본 원인을 로컬라이즈하고 경합을 완화하는 온라인형, 아키텍처에 구애받지 않는 프레임워크를 개발합니다.
• 로컬라이제이션에는 SVM, 완화에는 RL을 활용하고, 적응형 자원 재할당을 위한 온라인 텔레메트리를 활용합니다.
• 성능 이상 주입 및 전이 학습을 통해 빠른 학습과 적응을 가능하게 합니다.
• Kubernetes에서의 오픈소스 구현과 실제 마이크로서비스 벤치마크에 대한 평가를 시연합니다.

제안 방법

• 온라인 텔레메트리 및 추적 데이터를 사용하여 마이크로서비스 실행 및 자원 사용을 모니터링합니다.
• 중요 경로에서 SLO 위반 마이크로서비스 인스턴스를 로컬라이즈하기 위해 SVM 기반 감지를 적용합니다.
• 정밀 재할당 행동(스케일 업/스케일 아웃 및 자원 파티셔닝)을 결정하기 위한 RL 기반(DDPG) 완화 루프를 사용합니다.
• 실행 이력과 인스턴스별 가변성 지표의 그래프 기반 분석을 통해 중요한 경로와 구성요소를 추출합니다.
• 작업 부하 변화에 적응하기 위해 이상 주입 프레임워크와 전이 학습으로 RL 에이전트를 학습합니다.
• 오픈 소스 Kubernetes 통합과 다수의 마이크로서비스 벤치마크에 대한 평가를 제공합니다.

실험 결과

연구 질문

• RQ1 RQ1 FIRM은 추적 및 ML 기법을 사용하여 SLO 위반에 책임이 있는 마이크로서비스 인스턴스를 얼마나 정확하게 감지하고 로컬라이즈할 수 있나요?
• RQ2 RQ2 다양한 작업부하와 경합 유형에 걸쳐 RL 기반 완화가 SLO 위반, 꼬리(latency) 지연 및 전체 CPU 자원 사용을 얼마나 효과적으로 줄일 수 있나요?
• RQ3 RQ3 온라인 이상 주입과 전이 학습이 FIRM 모델의 학습 효율성과 적응성에 어떻게 기여합니까?
• RQ4 RQ4 Kubernetes 자동 확장 및 AIMD 기반 접근법과 비교하여 SLO 위반 감소 및 성능 예측 가능성 향상에서 FIRM은 어떻게 비교됩니까?

주요 결과

• FIRM은 Kubernetes 자동 확장에 비해 최대 16배, AIMD 기반 방법에 비해 최대 9배까지 SLO 위반을 감소시킵니다.
• FIRM은 전체 요청 CPU를 최대 62%까지 줄입니다.
• FIRM은 평균 꼬리 지연을 최대 11배 감소시켜 성능 예측 가능성을 향상시킵니다.
• 벤치마크 전반에서 핵심 경로 로컬라이제이션 정확도 평균 93%였습니다.
• FIRM은 위반에 대한 응답 시간 측면에서 Kubernetes 자동 확장 대비 최대 30배 더 빠른 완화를 달성합니다.
• 이상 주입과 전이 학습은 마이크로서비스 특화 RL 에이전트의 빠르고 적응 가능한 학습을 가능하게 합니다.