[论文解读] Monitoring data distribution and exploitation in a global-scale microservice artefact observatory

Panagiotis Gkikopoulos, Josef Spillner+1 more|arXiv (Cornell University)|Jun 2, 2020

Software System Performance and Reliability参考文献 13被引用 1

一句话总结

本文提出了一种联邦式、共识驱动的观测系统，用于监控和分析全球微服务制品仓库，实现对元数据、代码质量、安全性和性能的可靠追踪。通过结合分布式监控、动态测试和共识投票，该系统生成真实数据，以提升微服务组合的可预测性，并支持数据驱动的开发与研究。

ABSTRACT

Reusable microservice artefacts are often deployed as black or grey boxes, with little concern for their properties and quality, beyond a syntactical interface description. This leads application developers to chaotic and opportunistic assumptions about how a composite application will behave in the real world. Systematically analyzing and tracking these publicly available artefacts will grant much needed predictability to microservice-based deployments. By establishing a distributed observatory and knowledge base, it is possible to track microservice repositories and analyze the artefacts reliably, and provide insights on their properties and quality to developers and researchers alike. This position paper argues for a federated research infrastructure with consensus voting among participants to establish and preserve ground truth about the insights.

研究动机与目标

• 解决全球市场中公开可用微服务制品缺乏系统性监控与质量评估的问题。
• 通过向开发人员提供关于微服务特性的数据驱动洞察，减少复合应用中的不可预测行为。
• 建立可扩展的分布式研究基础设施，以追踪微服务生态系统的演化并检测反模式。
• 使研究人员和实践者能够访问经验证的、基于共识的真实数据，以支持纵向研究和工具集成。
• 将研究成果集成到CI/CD流水线中，以在软件开发过程中支持实时质量反馈。

提出的方法

• 使用etcd实现节点间对等元数据交换与协调，部署基于Docker的地理分布式监控基础设施。
• 实施分布式爬虫，从Docker Hub和AWS Serverless Application Repository等公共仓库收集元数据。
• 在模拟环境（如LocalStack和sam local）中应用静态分析、安全扫描（例如CVE检查）和性能基准测试。
• 通过节点间的共识投票验证并建立来自多个独立观测的真实数据，使用聚类技术解决差异。
• 在全网广播已验证结果，以确保一致性，并支持节点间按需比较。
• 扩展系统以支持多种制品类型，包括Helm图表、Docker镜像、Compose文件和Kubernetes Operators。

实验结果

研究问题

• RQ1 如何构建一个全球分布式的联邦系统，以可靠地追踪和分析公开微服务制品的质量与行为的演变？
• RQ2 哪些机制能够从异构的、分布式的微服务制品观测中实现基于共识的真实数据生成？
• RQ3 与仅依赖静态分析相比，动态测试与仿真在多大程度上能提升质量度量的准确性？
• RQ4 当应用于大规模真实微服务生态系统时，该观测系统的架构在可扩展性方面表现如何？
• RQ5 观测系统的真实数据在何种方式下可被集成到CI/CD流水线中，以支持实时软件质量反馈？

主要发现

• 系统成功监控了Docker Hub，追踪到从2019年11月到2020年5月，ARM架构支持增加了12%，x86-64镜像数量上升了15%。
• 在瑞士和阿根廷部署的原型基础设施证明了使用etcd和Docker编排实现地理分布监控的可行性。
• 基于LocalStack和sam local的基准测试流水线正在开发中，旨在实现比单元测试更准确的无服务器制品性能评估。
• 对Dockerfile应用多个lint工具，实现了对代码质量和安全最佳实践的定量自动化评估。
• 通过聚类实现的共识投票能够从分布式观测中可靠地生成真实数据，减少了质量度量中的噪声与不一致性。
• 初步结果显示，该观测系统可扩展以支持多种制品类型，包括Helm图表和Kubernetes Operators，未来计划实现更广泛的集成。