[논문 리뷰] Sage: Leveraging ML to Diagnose Unpredictable Performance in Cloud Microservices

Yu Gan, Mingyu Liang외 3명|arXiv (Cornell University)|2021. 12. 12.

Cloud Computing and Resource Management참고 문헌 19인용 수 15

한 줄 요약

Sage는 Causal Bayesian Networks를 통해 RPC 수준의 종속성을 모델링하고, 그래픽적 변동 자동인코더를 사용해 반사적 지연 시간을 생성함으로써 클라우드 마이크로서비스에서 예측 불가능한 성능 문제를 비지도 기계학습으로 진단하는 시스템이다. 이는 레이블이 없는 트레이스나 애플리케이션 인스트루멘테이션 없이도 실시간 수정 조치를 가능하게 하며, 고정밀도의 루트 코스 진단 정확도(오라클 방법과 유사)를 달성하여 대규모 마이크로서비스 배포 환경에서의 성능 예측 가능성 향상에 기여한다.

ABSTRACT

Cloud applications are increasingly shifting from large monolithic services, to complex graphs of loosely-coupled microservices. Despite their advantages, microservices also introduce cascading QoS violations in cloud applications, which are difficult to diagnose and correct. We present Sage, a ML-driven root cause analysis system for interactive cloud microservices. Sage leverages unsupervised learning models to circumvent the overhead of trace labeling, determines the root cause of unpredictable performance online, and applies corrective actions to restore performance. On experiments on both dedicated local clusters and large GCE clusters we show that Sage achieves high root cause detection accuracy and predictable performance.

연구 동기 및 목표

• 기존 방법이 오류가 많고 수작업이 많은 복잡하고 느슨하게 결합된 클라우드 마이크로서비스에서 예측 불가능한 성능 문제를 진단하는 데 도전하는 것.
• 루트 코스 분석에서 비용이 많이 들고 침입성이 높은 트레이스 레이블링이 필요 없도록 비지도 학습을 활용하는 것.
• 상호작용 마이크로서비스에서 QoS 위반을 실시간으로 탐지하고 수정할 수 있도록 하되, 시스템 오버헤드를 최소화하는 것.
• Google Compute Engine과 같은 대규모 프로덕션 수준의 클러스터에서 높은 정확도와 낮은 지연 시간을 유지하면서도 효과적으로 확장 가능한 것.

제안 방법

• Sage는 Causal Bayesian Networks(CBN)를 사용해 마이크로서비스 종속성을 모델링하며, 메트릭 노드(CPU, 메모리), 지연 시간 노드(클라이언트, 서버, 네트워크), 관측되지 않은 확률적 요인을 위한 잠재 변수를 포함한다.
• 반사적 지연 시간 시나리오를 생성하기 위해 그래픽적 변동 자동인코더(GVAE)를 활용하여, 특정 사건이 발생하지 않았다면 어떤 종단 간 지연 시간이었을지를 시뮬레이션한다.
• 관측된 종단 간 지연 시간과 GVAE가 생성한 반사적 지연 시간을 비교하여 루트 코스를 추론하며, 그 행동이 가장 크게 이격된 마이크로서비스를 식별한다.
• 애플리케이션 코드 수정이나 커널 인스트루멘테이션 없이도 경량이고 비침습적인 트레이싱을 사용하여 프로덕션 환경에 쉽게 구현할 수 있다.
• 검출된 루트 코스에 기반해 자원 스케일링과 같은 수정 조치를 시행하여 성능 예측 가능성을 복구한다.
• 마이크로서비스 아키텍처가 변경될 경우 빠르게 모델을 적응시키기 위해 전이 학습을 적용하여, 처음부터 재학습하는 것에 비해 적어도 한 계단 이상의 학습 시간 단축을 달성한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 트레이스나 애플리케이션 인스트루멘테이션 없이도 비지도 기계학습 시스템이 마이크로서비스의 예측 불가능한 성능 문제의 루트 코스를 진단할 수 있는가?
• RQ2 이러한 시스템은 지도 학습 또는 임계값 기반 기준 대비 진짜 QoS 위반 원인을 얼마나 정확하게 식별할 수 있는가?
• RQ3 Google Compute Engine과 같은 대규모 프로덕션 수준의 클러스터에서 시스템이 탐지 정확도와 낮은 추론 오버헤드를 유지하면서 얼마나 잘 확장되는가?
• RQ4 루트 코스를 검출한 후 자동 수정 조치를 통해 성능 예측 가능성을 얼마나 효과적으로 복구할 수 있는가?
• RQ5 마이크로서비스 토폴로지가 변화할 경우 전이 학습이 루트 코스 진단 정확도를 저하시키지 않으면서 학습 시간을 얼마나 크게 단축시킬 수 있는가?

주요 결과

• Sage는 수동으로 레이블이 부여된 임계값을 사용하는 오프라인 오라클 방법과 유사한 정확도를 달성하며, 자동 스케일링 기반 및 기존 지도 학습 시스템보다 뚜렷이 뛰어난 성능을 보였다.
• 거짓 긍정 및 거짓 부정 비율이 매우 낮아 불필요한 자원 할당과 QoS 위반 누락을 최소화했다.
• 188개 인스턴스를 가진 Google Compute Engine 환경에서도 Sage는 로컬 클러스터에서의 성능과 1% 이내로 정확도를 유지했으며, 거짓 긍정 및 거짓 부정 비율은 약간 증가했다.
• GCE에서의 학습 시간은 148분(로컬 클러스터 대비 124분)이었고, 추론 시간은 단 62ms였으며, 컨테이너 수가 6.7배 증가했음에도 불구하고 추론 시간은 26.5% 증가에 그쳤다.
• 새로운 마이크로서비스 토폴로지에 적응할 경우 전이 학습을 통해 학습 시간을 적어도 한 계단 이상 단축시켰으며, 루트 코스 진단 정확도에 영향을 주지 않았다.
• 실제 환경에서는 Sage가 루트 코스를 즉각적으로 식별하고 수정 조치를 시행하여, 일반적으로 복구가 지연되는 임계값 기반 기법보다 훨씬 빠르게 성능을 복구했다.