[논문 리뷰] Monitoring data distribution and exploitation in a global-scale microservice artefact observatory

Panagiotis Gkikopoulos, Josef Spillner외 1명|arXiv (Cornell University)|2020. 06. 02.

Software System Performance and Reliability참고 문헌 13인용 수 1

한 줄 요약

이 논문은 글로벌 마이크로서비스 아티팩트 리포지터리를 모니터링하고 분석하기 위해 연합형, 공감대 기반의 관측소를 제안한다. 이는 메타데이터, 코드 품질, 보안, 성능에 대한 신뢰할 수 있는 추적을 가능하게 하며, 분산 모니터링, 동적 테스팅, 공감대 투표를 조합함으로써 마이크로서비스 조합의 예측 가능성 향상과 데이터 기반 개발 및 연구 지원을 위한 기초 데이터를 생성한다.

ABSTRACT

Reusable microservice artefacts are often deployed as black or grey boxes, with little concern for their properties and quality, beyond a syntactical interface description. This leads application developers to chaotic and opportunistic assumptions about how a composite application will behave in the real world. Systematically analyzing and tracking these publicly available artefacts will grant much needed predictability to microservice-based deployments. By establishing a distributed observatory and knowledge base, it is possible to track microservice repositories and analyze the artefacts reliably, and provide insights on their properties and quality to developers and researchers alike. This position paper argues for a federated research infrastructure with consensus voting among participants to establish and preserve ground truth about the insights.

연구 동기 및 목표

• 글로벌 마켓플레이스에서 공개된 마이크로서비스 아티팩트에 대한 체계적 모니터링과 품질 평가의 부족을 해결한다.
• 개발자에게 마이크로서비스 속성에 대한 데이터 기반 통찰을 제공함으로써 복합 애플리케이션의 예측 불가능한 동작을 줄인다.
• 마이크로서비스 생태계의 진화를 추적하고 악성 패턴을 탐지하기 위한 확장 가능한 분산 연구 인fra를 구축한다.
• 연구자와 실무자가 종단 간 검증된, 공감대 기반의 기초 데이터를 장기 연구와 도구 통합에 활용할 수 있도록 한다.
• 발견된 결과를 CI/CD 파이프라인에 통합하여 소프트웨어 개발 중 실시간 품질 피드백을 지원한다.

제안 방법

• etcd를 사용한 피어 투 피어 메타데이터 교환 및 조율을 통해 지리적으로 분산된 Docker 기반 모니터링 인fra를 구축한다.
• Docker Hub 및 AWS Serverless Application Repository와 같은 공개 리포지터리에서 메타데이터를 수집하기 위해 분산 크롤러를 구현한다.
• 에뮬레이션 환경(예: LocalStack 및 sam local)을 사용하여 정적 분석, 보안 스캐닝(CVE 검사 등), 성능 벤치마킹을 수행한다.
• 다중 독립 관측에서 기초 데이터를 검증하고 확립하기 위해 노드 간 공감대 투표를 사용하며, 이질적인 관측 간의 불일치를 해결하기 위해 클러스터링을 활용한다.
• 네트워크 전역에 검증된 결과를 발표하여 일관성을 확보하고, 노드 간의 수요에 따라 비교를 가능하게 한다.
• Helm 차트, Docker 이미지, Compose 파일, Kubernetes Operators를 포함한 다양한 아티팩트 유형을 지원하기 위해 시스템을 확장한다.

실험 결과

연구 질문

• RQ1 글로벌적으로 분산된 연합형 시스템은 어떻게 공개 마이크로서비스 아티팩트의 진화하는 품질과 행동을 안정적으로 추적하고 분석할 수 있는가?
• RQ2 이질적이고 분산된 마이크로서비스 아티팩트 관측에서 공감대 기반 기초 데이터 생성을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 정적 분석만으로도 성능 평가를 향상시키기 위해 동적 테스팅과 에뮬레이션을 얼마나 효과적으로 활용할 수 있는가?
• RQ4 대규모 실세계 마이크로서비스 생태계에 적용했을 때 관측소 아키텍처는 얼마나 확장 가능한가?
• RQ5 관측소에서 생성된 기초 데이터는 CI/CD 파이프라인에 어떻게 통합되어 실시간 소프트웨어 품질 피드백을 지원할 수 있는가?

주요 결과

• 시스템은 Docker Hub를 성공적으로 모니터링하여 2019년 11월에서 2020년 5월 사이에 ARM 아키텍처 지원이 12% 증가하고 x86-64 이미지가 15% 증가한 것을 확인했다.
• 스위스와 아르헨티나에 배포된 프로토타입 인프라는 etcd와 Docker 오케스트레이션을 활용한 지리적 분산 모니터링의 가능성을 입증했다.
• LocalStack 및 sam local 기반의 벤치마킹 파이프라인은 단순 단위 테스트보다 더 정확한 서버리스 아티팩트 성능 평가를 가능하게 하기 위해 개발 중이다.
• Dockerfile에 여러 린터를 적용함으로써 코드 품질과 보안 최적화 실천에 대한 정량적 자동 평가가 가능해졌다.
• 클러스터링을 통한 공감대 투표로 분산 관측에서 신뢰할 수 있는 기초 데이터 생성이 가능해졌으며, 품질 지표의 노이즈와 일관성 없는 요소가 감소했다.
• 초기 결과에 따르면 관측소는 Helm 차트와 Kubernetes Operators를 포함한 다양한 아티팩트 유형을 지원할 수 있으며, 향후 광범위한 통합 계획이 수립되어 있다.