[论文解读] Quality Assessment and Improvement of Helm Charts for Kubernetes-Based Cloud Applications

Josef Spillner|arXiv (Cornell University)|Jan 3, 2019

Software System Performance and Reliability被引用 7

一句话总结

本文介绍了HelmQA，一种用于Kubernetes云应用中Helm图表自动化质量评估的工具。它分析了来自KubeApps Hub的400多个图表，识别出重复模板值和缺少元数据等常见质量问题，并通过为期四个月的研究表明，定期使用HelmQA可带来可测量但有限的改进——重复值减少3.2%，凸显了将HelmQA集成到CI/CD和图表提交工作流中以确保长期质量提升的必要性。

ABSTRACT

Helm has recently been proposed by practitioners as technology to package and deploy complex software applications on top of Kubernetes-based cloud computing platforms. Despite growing popularity, little is known about the individual so-called Helm Charts and about the emerging ecosystem of charts around the KubeApps Hub website and decentralised charts repositories. This article contributes first quantified insights around both the charts and the artefact development community based on metrics automatically gathered by a proposed quality assessment tool named HelmQA. The work further identifies quality insufficiencies detectable in public charts, proposes a developer-centric hypothesis-based methodology to systematically improve the quality by using HelmQA, and finally empirically attempts to validate the methodology and thus the practical usefulness of the tool by presenting results of its application over a representative four-month period. Although one of our initial hypotheses does not statistically hold during the experiment, we still infer that using HelmQA regularly in continuous software development would lead to reduced quality issues.

研究动机与目标

• 分析KubeApps Hub仓库中Helm图表的质量，识别图表结构和元数据中的常见缺陷。
• 开发HelmQA，一个用于Helm图表自动化、以开发人员为中心的质量评估开源工具。
• 通过与图表维护者开展为期四个月的实证研究，评估HelmQA在提升图表质量方面的有效性。
• 提出将HelmQA集成到CI/CD流水线和Helm图表提交流程中，以确保质量改进的持续性。
• 为未来关于云应用制品质量的研究提供可复现的数据集和方法论。

提出的方法

• 通过KubeApps Hub的公开API，在四个月内自动采集Helm图表。
• 实现HelmQA作为静态分析工具，以检测重复值、缺少元数据和模板不一致等质量问题。
• 将HelmQA应用于数据集中的每张图表，生成包含可操作建议的质量报告。
• 通过自动通知与图表维护者互动，报告并修复检测到的问题。
• 跟踪随时间推移的质量指标变化，以评估改进趋势。
• 使用统计分析评估反馈和工具使用对图表质量的影响。

实验结果

研究问题

• RQ1 在KubeApps Hub上托管的公开Helm图表中，最常见的质量问题是什么？
• RQ2 像HelmQA这样的自动化质量评估工具在实践中能在多大程度上提升Helm图表的质量？
• RQ3 开发人员通知和反馈循环在推动实际代码更改以修复质量问题方面有多有效？
• RQ4 将质量检查集成到CI/CD和图表提交工作流中会产生怎样的长期影响？
• RQ5 能否可靠且可复现地测量和追踪Helm图表的质量演变过程？

主要发现

• KubeApps Hub中的Helm图表存在显著质量问题，包括1.3%的模板因语法错误而无法渲染，且在四个月的反馈后重复值减少了3.2%。
• 尽管发送了通知，仅有极少数维护者修复了质量问题，缺少维护者信息、名称冲突和别名名称等问题的异常情况减少比例为0%。
• 研究发现，模板中的重复值是一个普遍问题，影响了3.2%的图表，且是最具可操作性的质量问题之一。
• 该工具的livecheck功能支持集成到CI/CD流水线中，实现在开发过程中的持续质量验证。
• Helm图表及其质量评估的数据集已公开发布在Open Science Framework上，以支持可复现性和未来研究。
• 尽管关于建议广泛采纳的假设未获统计支持，但结果仍表明定期使用该工具可随时间减少质量问题。