[论文解读] A note on "The Need for End-to-End Evaluation of Cloud Availability"

Maurizio Naldi|arXiv (Cornell University)|Aug 3, 2014

Cloud Computing and Resource Management参考文献 19被引用 4

一句话总结

本文批判了 PAM 2014 年关于云可用性的研究方法，指出其探测频率过低（每 10–11 分钟一次），可能导致短暂的中断被遗漏，从而造成中断持续时间估计不准确，并引发错误的 SLA 违规评估。本文主张采用更高频率的探测以及改进的统计建模方法，以实现可靠的 SLA 合规性验证和保险索赔量化。

ABSTRACT

Cloud availability is a major performance parameter for cloud platforms, but there are very few measurements on commercial platforms, and most of them rely on outage reports as appeared on specialized sites, providers' dashboards, or the general press. A paper recently presented at the PAM 2014 conference by Hu et alii reports the results of a measurement campaign. In this note, the results of that paper are summarized, highlighting sources of inaccuracy and some possible improvements. In particular, the use of a low probing frequency could lead to non detection of short outages, as well as to an inaccurate estimation of the outage duration statistics. Overcoming this lack of accuracy is relevant to properly assess SLA violations and establish the basis for insurance claims.

研究动机与目标

• 评估使用 ICMP 和 HTTP 探测方法进行端到端云可用性测量的准确性。
• 识别 Hu et al. 研究中的局限性，特别是低探测频率对中断检测的影响。
• 改进中断持续时间统计的估计，以实现准确的 SLA 违规检测与补偿评估。
• 通过精确测量中断持续时间和频率，支持可靠的保险索赔评估。
• 倡导第三方云可用性基准测试的方法论改进，以确保稳健的 SLA 合规性验证。

提出的方法

• 比较 ICMP 和 HTTP 协议在测量云可用性方面的表现，其中 ICMP 用于测试前端服务器的可达性，HTTP 用于测试完整的应用层服务功能。
• 使用在 23 个和 54 个 PlanetLab 探测点上分别持续 33 天和 75 天的测量数据。
• 使用公式 σ ≈ √[p₁(1−p₁)/y₁] 计算可用性估计值的统计置信区间，以估计不确定性。
• 基于均匀分布假设，对未检测到的中断概率进行建模：当 T > L 时，P_nodet = 1 − L/T，其中 T 为探测间隔，L 为中断持续时间。
• 分析因探测间隔（10–11 分钟）短于中断持续时间而导致的中断被遗漏所造成的故障计数失真。
• 强调缺乏对中断持续时间分布的统计建模，而这是 SLA 违规与补偿分析所必需的。

实验结果

研究问题

• RQ1 与基于 HTTP 的测量相比，基于 ICMP 的云可用性测量在检测实际云中断方面有多准确？
• RQ2 低探测频率（10–11 分钟）在多大程度上导致了短暂中断未被检测到？
• RQ3 短时间中断被遗漏如何影响中断持续时间分布的统计估计？
• RQ4 当前的测量方法能否可靠地支持 SLA 违规检测与补偿索赔？
• RQ5 为实现准确的 SLA 合规性评估与保险索赔量化，探测频率和统计建模方面需要哪些改进？

主要发现

• 基于 HTTP 的探测方法比 ICMP 更准确，因为它能过滤掉由错误路由和瞬时丢包等网络问题引起的故障。
• 仅基于首次尝试的可用性估计值约为 2 到 3 个 9（即约 99.9% 至约 99.99% 的可用性）。
• 可用性估计的标准差对 Amazon 约为 8.2×10⁻⁵，对 Google 约为 5.8×10⁻⁵，表明估计精度较高，但仍不足以检测低于 99.999% 的性能。
• 持续时间短于 10–11 分钟探测间隔的中断具有不可忽视的未被检测到的概率，其公式为 P_nodet = 1 − L/T（当 T > L 时）。
• 除非阈值超过探测间隔，否则检测到的故障数和长时间中断数会被显著低估。
• 缺乏对中断持续时间分布的恰当建模，阻碍了对 SLA 违规及潜在补偿或保险索赔的准确评估。