[논문 리뷰] Monitoring Large-Scale Cloud Systems with Layered Gossip Protocols

Jonathan S. Ward, Adam Barker|arXiv (Cornell University)|2013. 05. 31.

Peer-to-Peer Network Technologies참고 문헌 2인용 수 4

한 줄 요약

이 논문은 대규모 클라우드 시스템의 확장 가능한 모니터링을 위한 탈중앙화된 계층적 게이저 프로토콜을 제안한다. 중앙 집중식 모니터링 인프라가 필요 없도록 하여, 고성능 클라우드 환경에서 낮은 지연 시간과 고장 내성의 모니터링을 실현한다. 작업량 유사성에 따라 가상 머신을 계층적 그룹으로 조직하고, 효율적이고 국소적인 게이저를 사용함으로써, 중앙 집중식 시스템 대비 최대 74% 더 많은 메시지를 사용하지만도 고대역폭 클라우드 환경에서는 실현 가능하다.

ABSTRACT

Monitoring is an essential aspect of maintaining and developing computer systems that increases in difficulty proportional to the size of the system. The need for robust monitoring tools has become more evident with the advent of cloud computing. Infrastructure as a Service (IaaS) clouds allow end users to deploy vast numbers of virtual machines as part of dynamic and transient architectures. Current monitoring solutions, including many of those in the open-source domain rely on outdated concepts including manual deployment and configuration, centralised data collection and adapt poorly to membership churn. In this paper we propose the development of a cloud monitoring suite to provide scalable and robust lookup, data collection and analysis services for large-scale cloud systems. In lieu of centrally managed monitoring we propose a multi-tier architecture using a layered gossip protocol to aggregate monitoring information and facilitate lookup, information collection and the identification of redundant capacity. This allows for a resource aware data collection and storage architecture that operates over the system being monitored. This in turn enables monitoring to be done in-situ without the need for significant additional infrastructure to facilitate monitoring services. We evaluate this approach against alternative monitoring paradigms and demonstrate how our solution is well adapted to usage in a cloud-computing context.

연구 동기 및 목표

• 대규모 유연성 있는 클라우드 환경에서 기존 중앙 집중식 모니터링의 확장성 및 고장 내성 문제를 해결한다.
• 클라우드 시스템이 커짐에 따라 비용이 많이 들고 느려지는 중앙 집중식 데이터 수집의 한계를 극복한다.
• 전용 모니터링 인프라가 필요 없도록, 탈중앙화된 게이저 기반 아키텍처를 통해 자가 모니터링을 가능하게 한다.
• VM 프로비저닝 또는 분해 시 재구성 또는 추가 배포 오버헤드 없이도 동적이고 실시간으로 모니터링이 가능한 IaaS 클라우드의 빠른 유연성 지원.
• 그룹 및 클라우드 지역 간의 모니터링 데이터 집계를 통해 자원 사용의 전역 시스템 뷰 제공.

제안 방법

• 클라우드 아키텍처를 반영하기 위해 VM(잎 노드), 그룹(유사한 VM의 논리적 클러스터), 클라우드(지리적 지역)의 3단계 아키텍처를 설계한다.
• 소프트웨어 워크로드(예: 웹 서버, Hadoop 노드) 기반으로 기능 벡터를 사용해 VM을 그룹화함으로써 효율적 데이터 확산을 위한 의미적 근접성 확보.
• 그룹 내 주기적 비례 게이저 전파 구현: 각 VM이 저지연 UDP를 사용해 피어의 일부 집단에 자원 사용 정보(CPU, 메모리, 디스크, 네트워크)를 전달.
• 그룹 수준의 자원 사용량을 집계하고, 더 느린 속도로 다른 그룹에 전파함으로써 그룹 간 통신 오버헤드 감소.
• 더 높은 지연 시간과 대역폭 비용을 고려해, 더 느리지만 신뢰성 있는 프로토콜을 사용해 지역 수준의 집계 데이터를 클라우드 간 전파.
• 런타임에 자가 조직되는 오버레이 게이저 네트워크를 구성함으로써, 추가 인프라나 사전 배포된 모니터링 서버 없이도 모니터링 가능.

실험 결과

연구 질문

• RQ1 탈중앙화된 게이저 프로토콜이 대규모이고 고도로 유연한 클라우드 시스템에서 중앙 집중식 모니터링을 효과적으로 대체할 수 있는가?
• RQ2 평면적 게이저 또는 중앙 집중식 모델 대비 계층적 게이저 아키텍처는 통신 오버헤드를 얼마나 줄이는가?
• RQ3 IaaS 클라우드에서 전용 모니터링 인프라 없이도 얼마나 효과적으로 현장에서 모니터링이 가능한가?
• RQ4 워크로드 유사성에 따라 VM을 그룹화하면 모니터링 효율성과 확장성은 어떻게 향상되는가?
• RQ5 대규모 클라우드 모니터링에서 메시지 수와 탈중앙화성 간의 상호 교환 관계는 어떠한가?

주요 결과

• 계층적 게이저 프로토콜은 평면적 게이저 대비 메시지 전송률을 크게 줄여 더 확장 가능하고 효율적인 데이터 집계 패턴을 달성한다.
• 중앙 집중식 시스템 대비 최대 74% 더 많은 메시지를 전송하더라도, 고대역폭·저지연 클라우드 환경에서는 여전히 실현 가능한 통신 오버헤드를 유지한다.
• 계층적 설계 덕분에 그룹 내 효율적이고 국소적인 데이터 전파가 가능하며, 그룹 간 및 클라우드 간 통신 오버헤드를 최소화한다.
• 완전한 탈중앙화를 달성하여 단일 장애 지점이 제거되고 외부 모니터링 인프라 의존도가 감소한다.
• VM 프로비저닝 또는 분해 시 재구성 최소화로도 동적이고 확장 가능한 클라우드 환경을 지원하는 자가 모니터링 기능을 제공한다.
• 지역 수준 요약을 통한 집계된 데이터를 기반으로 전역 자원 사용 시스템 뷰를 확보하며, 고도의 모니터링 및 분석 기반 시스템의 기초를 마련한다.