[论文解读] Dissecting Service Mesh Overheads

Xiangfeng Zhu, Guozhen She+10 more|arXiv (Cornell University)|Jul 2, 2022

Cloud Computing and Resource Management被引用 6

一句话总结

本文提出 MeshInsight，一种组合式性能分析工具，通过将边车（sidecar）操作建模为独立组件（如进程间通信（IPC）、套接字写入、协议解析）来剖析服务网格的开销。研究发现，开销因配置和工作负载的不同而有显著差异——延迟最高增加185%，CPU 使用率最高上升92%。在 HTTP/gRPC 模式下，协议解析是主要开销来源；在 TCP 模式下，IPC 和套接字操作则占主导地位。

ABSTRACT

Service meshes play a central role in the modern application ecosystem by providing an easy and flexible way to connect different services that form a distributed application. However, because of the way they interpose on application traffic, they can substantially increase application latency and resource consumption. We develop a decompositional approach and a tool, called MeshInsight, to systematically characterize the overhead of service meshes and to help developers quantify overhead in deployment scenarios of interest. Using MeshInsight, we confirm that service meshes can have high overhead -- up to 185% higher latency and up to 92% more virtual CPU cores for our benchmark applications -- but the severity is intimately tied to how they are configured and the application workload. The primary contributors to overhead vary based on the configuration too. IPC (inter-process communication) and socket writes dominate when the service mesh operates as a TCP proxy, but protocol parsing dominates when it operates as an HTTP proxy. MeshInsight also enables us to study the end-to-end impact of optimizations to service meshes. We show that not all seemingly-promising optimizations lead to a notable overhead reduction in realistic settings.

研究动机与目标

• 系统性地表征服务网格在不同配置和应用工作负载下的性能开销。
• 识别服务网格边车中开销的主要来源，如 IPC、套接字操作和协议解析。
• 使开发者能够在不部署完整配置的情况下估算端到端性能影响。
• 评估 Unix 域套接字和零拷贝写入等优化在真实场景下的性能效果。
• 指导服务网格和应用开发者在功能与性能之间做出明智的权衡。

提出的方法

• 将边车代理操作分解为独立组件：读取、写入、IPC 和协议解析。
• 使用调用图、请求速率和消息大小建模应用工作负载，以估算端到端开销。
• 采用测量驱动的方法，通过真实 Envoy 边车部署量化各组件的开销。
• 使用工具链对不同服务网格配置（TCP、HTTP、gRPC 模式）下的边车行为进行插桩和性能分析。
• 应用 Linux 内核特性（如 Unix 域套接字、零拷贝写入）评估性能改进效果。
• 将组件级测量结果与工作负载模型结合，预测系统级性能影响，而无需完整部署。

实验结果

研究问题

• RQ1 在不同配置下，服务网格边车中的主要延迟和 CPU 开销来源是什么？
• RQ2 应用特定特征（如请求速率、消息大小、调用图）如何影响服务网格性能？
• RQ3 常见优化（如 Unix 域套接字、零拷贝 I/O）在真实场景中能在多大程度上减少端到端开销？
• RQ4 在不同代理模式下，协议解析开销与系统级操作（如 IPC、套接字 I/O）相比如何？
• RQ5 组合式建模方法是否能在不完整部署的情况下准确预测端到端性能？

主要发现

• 服务网格开销差异显著——延迟增加30%至185%，CPU 使用率增加41%至92%，具体取决于配置和应用。
• 在 HTTP/gRPC 模式下，协议解析占总开销的62%至73%，是主要性能瓶颈。
• 在 TCP 模式下，IPC 和套接字写入操作是开销的主要贡献者，共同主导性能成本。
• 单个过滤器可在基线开销基础上增加3%至85%的额外延迟，表明过滤器效率存在显著差异。
• 如 Unix 域套接字和零拷贝写入等优化可降低开销，但其真实影响取决于上下文，并非始终有益。
• 在相同配置下，不同应用的开销差异可达数个数量级，凸显了应用感知性能分析的必要性。