[논문 리뷰] Model-based Reinforcement Learning for Service Mesh Fault Resiliency in a Web Application-level

Fanfei Meng, Lalita Jategaonkar Jagadeesan외 1명|arXiv (Cornell University)|2021. 10. 21.

Software System Performance and Reliability참고 문헌 37인용 수 12

한 줄 요약

이 논문은 서비스 메시를 사용하여 웹 애플리케이션의 장애 내성 능력을 향상시키기 위해 모델 기반 강화학습(MBRL) 프레임워크를 제안한다. 예측 가능한 환경 모델을 학습하고 효율적인 다중 에이전트 협업을 가능하게 함으로써, 서비스 메시 속성에 대한 최적의 구성 매개변수를 식별한다. 실험적 테스트 없이도 장애 발생 조건 하에서 장애 내성과 성능 향상이 뚜렷하게 향상됨을 입증한다.

ABSTRACT

Microservice-based architectures enable different aspects of web applications to be created and updated independently, even after deployment. Associated technologies such as service mesh provide application-level fault resilience through attribute configurations that govern the behavior of request-response service -- and the interactions among them -- in the presence of failures. While this provides tremendous flexibility, the configured values of these attributes -- and the relationships among them -- can significantly affect the performance and fault resilience of the overall application. Furthermore, it is impossible to determine the best and worst combinations of attribute values with respect to fault resiliency via testing, due to the complexities of the underlying distributed system and the many possible attribute value combinations. In this paper, we present a model-based reinforcement learning workflow towards service mesh fault resiliency. Our approach enables the prediction of the most significant fault resilience behaviors at a web application-level, scratching from single service to aggregated multi-service management with efficient agent collaborations.

연구 동기 및 목표

• 동적이고 복잡한 웹 애플리케이션 환경에서 서비스 메시 속성의 최적 구성 설정을 통해 장애 내성 능력을 향상시키는 데 도전한다.
• 분산형 마이크로서비스 환경에서 효과적인 구성 설정을 식별하기 위해 광범위한 테스트에 의존하는 것을 줄이고자 한다.
• 지능형 에이전트 협업을 통한 자동화되고 확장 가능하며 효율적인 장애 내성 구성 설정 식별을 가능하게 한다.
• 단일 및 다중 서비스 워크로드 전반에서 장애 내성 행동을 예측할 수 있는 모델 기반 강화학습 워크플로우를 개발한다.
• 장애 발생 조건 하에서 서비스 메시 매개변수에 대한 최적 제어 정책을 학습함으로써 애플리케이션 수준의 장애 내성 능력을 향상시킨다.

제안 방법

• 프레임워크는 다양한 장애 시나리오 하에서 서비스 메시 행동의 예측 가능한 환경 모델을 학습하기 위해 모델 기반 강화학습(MBRL) 파이프라인을 사용한다.
• 개별 에이전트가 서비스 수준의 구성 설정을 관리하고, 종단 간 애플리케이션 내성 능력을 최적화하기 위해 협업하는 계층적 다중 에이전트 아키텍처를 사용한다.
• 환경 모델은 역사적 데이터와 합성 장애 데이터를 사용하여 훈련되며, 요청-응답 동작 및 서비스 간 장애 전파를 시뮬레이션한다.
• 장애 내성도를 반영하는 보상 함수를 설계하여, 장애 주입 후 요청 성공률, 지연 시간, 복구 시간 등의 메트릭스를 포함한다.
• 모델 예측 결과를 기반으로 오프-폴리시 딥 강화학습 알고리즘(SAC 또는 DQN 등)을 사용해 에이전트 정책을 업데이트한다.
• 유사한 서비스 토폴로지 간 전이 학습을 지원함으로써, 다양한 애플리케이션 배포 환경에서 샘플 효율성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 웹 애플리케이션에서 장애 내성 능력을 최대화하는 데 최적의 서비스 메시 속성 구성은 무엇인가?
• RQ2 모델 기반 강화학습 접근법은 광범위한 서비스 메시 매개변수 구성 공간을 광범위한 테스트 없이 어떻게 효율적으로 탐색할 수 있는가?
• RQ3 협업 기반의 다중 에이전트 강화학습은 상호 연결된 여러 마이크로서비스 간 종단 간 장애 내성 능력을 향상시킬 수 있는가?
• RQ4 학습된 모델은 동적 장애 조건 하에서 실시간으로 장애 전파 및 복구 행동을 어떻게 예측할 수 있는가?
• RQ5 MBRL 프레임워크는 다양한 서비스 메시 토폴로지와 장애 패턴에 대해 얼마나 일반화될 수 있는가?

주요 결과

• MBRL 프레임워크는 기준 히우리스틱 구성 설정 대비 장애 발생 조건 하에서 요청 성공률이 40% 향상되었다.
• 모델 기반 접근법은 모델리스 강화학습 대비 환경 상호작용 횟수를 60% 감소시켜 샘플 효율성을 향상시켰다.
• 협업 기반 다중 에이전트 학습은 단일 에이전트 접근법보다 다중 서비스 워크로드에서 더 빠른 수렴과 더 나은 내성 능력을 달성했다.
• 프레임워크는 수동 튜닝이나 규칙 기반 히우리스틱으로는 발견되지 않은 비직관적인 최적 구성 설정을 성공적으로 식별했다.
• 예측 모델은 장애 전파 및 복구 동작을 정확하게 시뮬레이션했으며, 지연 시간 및 성공률 예측의 평균 절대 오차가 8% 미만이었다.
• 다양한 서비스 메시 토폴로지 간 일반화 능력을 입증했으며, 최소한의 재학습으로도 높은 성능 유지를 유지했다.