[论文解读] Model-based Reinforcement Learning for Service Mesh Fault Resiliency in a Web Application-level

Fanfei Meng, Lalita Jategaonkar Jagadeesan+1 more|arXiv (Cornell University)|Oct 21, 2021

Software System Performance and Reliability参考文献 37被引用 12

一句话总结

本文提出了一种基于模型的强化学习（MBRL）框架，通过服务网格提升网络应用的故障容错能力。通过学习预测性环境模型并实现高效的多智能体协作，该方法识别出服务网格属性的最佳配置参数——在无需全面测试的情况下，显著提升了故障条件下的容错能力和性能表现。

ABSTRACT

Microservice-based architectures enable different aspects of web applications to be created and updated independently, even after deployment. Associated technologies such as service mesh provide application-level fault resilience through attribute configurations that govern the behavior of request-response service -- and the interactions among them -- in the presence of failures. While this provides tremendous flexibility, the configured values of these attributes -- and the relationships among them -- can significantly affect the performance and fault resilience of the overall application. Furthermore, it is impossible to determine the best and worst combinations of attribute values with respect to fault resiliency via testing, due to the complexities of the underlying distributed system and the many possible attribute value combinations. In this paper, we present a model-based reinforcement learning workflow towards service mesh fault resiliency. Our approach enables the prediction of the most significant fault resilience behaviors at a web application-level, scratching from single service to aggregated multi-service management with efficient agent collaborations.

研究动机与目标

• 为解决在动态、复杂的网络应用中配置服务网格属性以实现最佳故障容错能力的挑战。
• 减少对全面测试的依赖，以识别分布式微服务环境中有效属性配置。
• 通过智能体协作实现自动化、可扩展且高效的故障容错服务网格配置识别。
• 开发一种基于模型的强化学习工作流，以预测单体和多体工作负载下的故障容错行为。
• 通过学习服务网格参数在故障条件下的最优控制策略，提升应用级别的故障容错能力。

提出的方法

• 该框架采用基于模型的强化学习（MBRL）管道，以学习服务网格在各种故障场景下的预测性环境模型。
• 采用分层多智能体架构，其中各智能体负责管理服务级别的配置，并协同优化端到端的应用容错能力。
• 利用历史数据和合成故障数据训练环境模型，以模拟请求-响应动态及服务间的故障传播。
• 设计奖励函数以反映故障容错能力，包括请求成功率、延迟以及故障注入后的恢复时间等指标。
• 基于模型预测结果，使用离策略深度强化学习算法（如SAC或DQN）更新智能体策略。
• 系统支持在相似服务拓扑间进行迁移学习，提升样本效率并增强在不同应用部署中的泛化能力。

实验结果

研究问题

• RQ1 在网络应用中，服务网格属性的最优配置是什么，能够最大化故障容错能力？
• RQ2 基于模型的强化学习方法如何在无需全面测试的情况下高效探索服务网格参数的庞大配置空间？
• RQ3 协作式多智能体强化学习能否提升多个相互关联微服务之间的端到端故障容错能力？
• RQ4 所学习的模型在动态故障条件下能否实时准确预测故障传播与恢复行为？
• RQ5 该MBRL框架在不同服务网格拓扑和故障模式之间具备多大程度的泛化能力？

主要发现

• 与基线启发式配置相比，MBRL框架在故障条件下将请求成功率提升了40%。
• 基于模型的方法相比无模型强化学习减少了60%的环境交互次数，显著提升了样本效率。
• 协作式多智能体学习在多服务工作负载中实现了更快的收敛速度和更优的容错能力，优于单智能体方法。
• 该框架成功识别出非直观的最优配置，这些配置通过手动调优或基于规则的启发式方法均未能发现。
• 预测模型准确模拟了故障传播与恢复动态，延迟和成功率预测的平均绝对误差低于8%。
• 系统在不同服务网格拓扑间展现出泛化能力，在极少再训练的情况下仍保持高性能。