[논문 리뷰] Towards Runtime Verification via Event Stream Processing in Cloud Computing Infrastructures

Domenico Cotroneo, Luigi De Simone외 3명|arXiv (Cornell University)|2020. 10. 13.

Software System Performance and Reliability참고 문헌 35인용 수 2

한 줄 요약

이 논문은 이벤트 스트림 처리를 사용하여 클라우드 컴퓨팅 시스템에서 실시간으로 장애를 탐지하는 경량이며 비침습적인 런타임 검증 기법을 제안한다. 정상적인 시스템 동작을 채굴하여 모니터링 규칙를 생성함으로써, 오픈스택에서 79.38%의 장애 탐지 커버리지를 달성하였으며, 특히 침묵하는 장애에 대해 기존 API 오류 보고 기능보다 뛰어나게 성능을 발휘한다.

ABSTRACT

Software bugs in cloud management systems often cause erratic behavior, hindering detection, and recovery of failures. As a consequence, the failures are not timely detected and notified, and can silently propagate through the system. To face these issues, we propose a lightweight approach to runtime verification, for monitoring and failure detection of cloud computing systems. We performed a preliminary evaluation of the proposed approach in the OpenStack cloud management platform, an "off-the-shelf" distributed system, showing that the approach can be applied with high failure detection coverage.

연구 동기 및 목표

• 침묵하는 장애가 발생하는 클라우드 관리 시스템에서 버그로 인해 감지되지 않고 확산되는 장애를 해결하기 위해.
• 기존의 모니터링 메커니즘이 종종 오류를 보고하지 않는 복잡한 '오픈박스' 클라우드 플랫폼인 오픈스택과 같은 환경에서 장애 탐지를 향상시키기 위해.
• 심층적인 시스템 내부 지식이 필요하지 않은 비침습적이고 경량의 모니터링 솔루션을 개발하기 위해.
• 실제 클라우드 플랫폼에서 장애 주입 실험을 통해 접근법의 타당성과 효과성을 평가하기 위해.

제안 방법

• 정상 동작 중의 실행 추적을 시스템 운영에서 비침습적인 이벤트 트레이싱을 통해 캡처한다.
• 정상적인 실행 추적에서 자동으로 모니터링 규칙을 합성하여 원하는 시스템 동작을 표현한다.
• 규칙는 논리적 조건으로 표현되며, 실시간으로 이벤트 스트림을 처리하는 런타임 모니터에 구현된다.
• 모니터는 지정된 행동 속성 위반을 탐지하여 실패 탐지에 적절한 시점에 경고를 발생시킨다.
• 오픈스택에서 장애 주입 실험을 통해 접근법을 평가하였으며, 장애 탐지 커버리지를 애초의 진실값(단정문 체크 결과)과 비교하여 측정하였다.
• 다중 사용자 시나리오를 구현하기 위해 여러 추적의 이벤트 스트림을 교차하여 병행성 환경에서의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 오픈스택과 같은 복잡한 오픈박스 클라우드 플랫폼에서 경량이며 비침습적인 런타임 검증 기법이 장애를 탐지할 수 있는가?
• RQ2 제안된 접근법의 장애 탐지 커버리지가 오픈스택의 네이티브 API 오류 보고 기능보다 어떻게 비교되는가?
• RQ3 API 오류나 로그에 보고되지 않는 침묵하는 장애—클라우드 관리 시스템에서 흔한 유형—를 탐지할 수 있는가?
• RQ4 병행적, 다중 사용자 워크로드 환경에서 이 접근법의 효과는 어떠한가?
• RQ5 실제 시나리오에서 추적의 교차 처리가 장애 탐지 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 런타임 검증 기법은 481개의 장애 주입 실험에서 평균 79.38%의 장애 탐지 커버리지(FDC)를 달성하였으며, 오픈스택의 네이티브 API 오류 보고 기능의 평균 FDC 23.96%보다 뚜렷이 뛰어나게 성능을 발휘하였다.
• 인스턴스 생성 시 90.96%의 장애를 탐지하였고, SSH 연결 시도 시에는 38.46%를 탐지하였으며, 이는 오픈스택에서 전혀 오류를 보고하지 않은 사례였다.
• 볼륨 연결 실패의 경우 92.00%의 FDC를 기록하여 복잡한 작업에 대해 강력한 탐지 능력을 보였다.
• 다중 사용자 시나리오 시뮬레이션에서 평균 FDC는 37.78%였지만, 표준편차(±13.88)가 높아, 추적 순서와 병행성 패tern에 민감함을 보였다.
• 특히 인스턴스 생성 및 SSH 연결 시 침묵하는 장애 탐지에 뛰어난 성능을 보였으며, 이는 API 오류가 전혀 생성되지 않은 경우에도 탐지가 가능했기 때문이다.
• 결과적으로, 볼륨 생성과 같은 특정 작업에 대해서는 탐지 커버리지가 28.57%에 불과하여, 모니터링 규칙의 추가 정밀 조정이 필요하다는 점을 시사한다.