[논문 리뷰] A note on "The Need for End-to-End Evaluation of Cloud Availability"

Maurizio Naldi|arXiv (Cornell University)|2014. 08. 03.

Cloud Computing and Resource Management참고 문헌 19인용 수 4

한 줄 요약

이 노트는 2014년 PAM에서 수행한 클라우드 가용성에 관한 연구의 방법론을 비판하며, 낮은 탐색 주기(10~11분마다)로 인해 일시적인 장애가 묵인되는 위험성이 있으며, 이로 인해 장애 지속 시간 추정치와 SLA 위반 평가가 부정확해질 수 있음을 지적한다. 이는 정확한 SLA 준수 검증과 보험 청구 금액 산정을 가능하게 하기 위해 더 높은 빈도의 탐색과 향상된 통계 모델링을 주장한다.

ABSTRACT

Cloud availability is a major performance parameter for cloud platforms, but there are very few measurements on commercial platforms, and most of them rely on outage reports as appeared on specialized sites, providers' dashboards, or the general press. A paper recently presented at the PAM 2014 conference by Hu et alii reports the results of a measurement campaign. In this note, the results of that paper are summarized, highlighting sources of inaccuracy and some possible improvements. In particular, the use of a low probing frequency could lead to non detection of short outages, as well as to an inaccurate estimation of the outage duration statistics. Overcoming this lack of accuracy is relevant to properly assess SLA violations and establish the basis for insurance claims.

연구 동기 및 목표

• ICMP 및 HTTP 탐색 방법을 사용한 엔드 투 엔드 클라우드 가용성 측정의 정확도 평가
• 허 등(2014)의 연구에서 낮은 탐색 빈도가 장애 탐지에 미치는 영향을 포함한 한계 식별
• 정확한 SLA 위반 탐지 및 보상 평가를 위한 장애 지속 시간 통계 추정 개선
• 정확한 장애 지속 시간 및 빈도 측정을 통해 신뢰할 수 있는 보험 청구 평가 지원
• 강력한 SLA 준수 검증을 보장하기 위해 제3자 클라우드 가용성 벤치마킹의 방법론 개선 주장

제안 방법

• ICMP는 프론트엔드 서버 접근성 검사를, HTTP는 응용 계층 기능의 전체 기능성을 검사하는 데 사용
• 23개 및 54개의 PlanetLab 관측 지점에서 각각 33일 및 75일 동안 실시한 측정 캠프에 기반한 데이터 활용
• 가용성 추정치의 불확실성 추정을 위해 공식 σ ≈ √[p₁(1−p₁)/y₁]를 사용한 통계적 신뢰구간 적용
• 장애가 탐지되지 않을 확률을 균일 분포 가정을 통해 모델링: T > L일 때 P_nodet = 1 − L/T
• 10~11분의 탐색 간격보다 짧은 장애가 묵인됨으로써 실패 수의 왜곡 분석
• SLA 위반 및 보상 분석에 필수적인 장애 지속 시간 분포에 대한 통계 모델링 부족 강조

실험 결과

연구 질문

• RQ1 ICMP 기반 클라우드 가용성 측정이 실제 클라우드 장애를 탐지하는 데 있어 HTTP 기반 측정보다 얼마나 정확한가?
• RQ2 낮은 탐색 빈도(10~11분)로 인해 얼마나 많은 일시적인 클라우드 장애가 탐지되지 않을 수 있는가?
• RQ3 탐색 간격보다 짧은 장애가 묵인될 경우, 장애 지속 시간 분포의 통계적 추정에 어떤 영향을 미치는가?
• RQ4 현재 측정 방법은 SLA 위반 탐지 및 보상 청구에 신뢰성 있게 기여할 수 있는가?
• RQ5 정확한 SLA 준수 평가 및 보험 청구 금액 산정을 위해 탐색 빈도와 통계 모델링에서 어떤 개선이 필요한가?

주요 결과

• HTTP 기반 탐색 방법은 네트워크 관련 장애(예: 잘못된 라우팅, 일시적 패킷 손실)를 걸러내기 때문에 ICMP보다 더 정확하다.
• 첫 번째 尝시도만을 기반으로 한 가용성 추정치는 약 2~3개의 9(즉, 약 99.9%에서 약 99.99%의 가용성) 사이에 위치한다.
• 아마존의 경우 가용성 추정치의 표준편차는 약 8.2×10⁻⁵, 구글의 경우 5.8×10⁻⁵로 나타나 높은 정밀도를 보이지만, 99.999% 이하 성능을 탐지하기에는 부족하다.
• 10~11분의 탐색 간격보다 짧은 장애는 묵인될 가능성이 비용이 무시할 수 없는 수준이며, T > L일 때 P_nodet = 1 − L/T이다.
• 장애 탐지 수와 장시간 장애의 수는 탐색 간격을 초과하는 임계값이 아닌 한 상당히 과소 평가된다.
• 적절한 장애 지속 시간 분포 모델링이 부족함으로써 SLA 위반 및 잠재적 보상 또는 보험 청구 평가가 정확하게 이뤄지지 않는다.