[논문 리뷰] Curator: Provenance Management for Modern Distributed Systems

Warren Smith, Thomas Moyer외 1명|arXiv (Cornell University)|2018. 06. 01.

Scientific Computing and Data Management인용 수 1

한 줄 요약

Curator는 모던 분산 시스템, 특히 마이크로서비스 아키텍처에 쉽게 통합될 수 있도록 설계된 프로벤런스 관리 툴킷이다. 시스템 설계의 변경 없이, 최소한의 코드 오버헤드로, 그리고 대상 시스템과 동일한 인프라를 활용해 확장성 있는 프로벤런스 추적을 가능하게 한다.

ABSTRACT

Data provenance is a valuable tool for protecting and troubleshooting distributed systems. Careful design of the provenance components reduces the impact on the design, implementation, and operation of the distributed system. In this paper, we present Curator, a provenance management toolkit that can be easily integrated with microservice-based systems and other modern distributed systems. This paper describes the design of Curator and discusses how we have used Curator to add provenance to distributed systems. We find that our approach results in no changes to the design of these distributed systems and minimal additional code and dependencies to manage. In addition, Curator uses the same scalable infrastructure as the distributed system and can therefore scale with the distributed system.

연구 동기 및 목표

• 기존 시스템 설계나 운영 방식을 방해하지 않으면서 현대 분산 시스템에 프로벤런스 추적을 통합하는 데 도전하는 것.
• 마이크로서비스 아키텍처 및 유사 시스템에서 프로벤런스 관리의 복잡성과 오버헤드를 줄이는 것.
• 기본 분산 시스템과 함께 자동으로 확장되는 프로벤런스 수집을 가능하게 하는 것.
• 통합에 필요한 추가 코드와 종속성의 최소화를 보장하는 툴킷을 제공하는 것.

제안 방법

• 핵심 시스템 아키텍처를 수정하지 않고도 경량 인스트루먼테이션을 통해 통합 가능한 독립형 툴킷으로 Curator를 설계하는 것.
• 분산 시스템이 사용하는 동일한 확장 가능한 인프라(예: 메시지 큐, 서비스 메시)를 활용해 프로벤런스 데이터 전파를 수행하는 것.
• 핵심 상호작용 지점에서 데이터 라인리지와 시스템 동작을 기록하기 위해 이벤트 기반 프로벤런스 캡처 기법을 사용하는 것.
• 다양한 배포 환경을 수용하기 위해 프로벤런스 저장, 검색 및 분석을 위한 플러그 가능한 컴포onent를 지원하는 것.
• 인터페이스 추상화와 최소한의 런타임 종속성으로 백워드 호환성과 비침습성을 확보하는 것.

실험 결과

연구 질문

• RQ1 기존 시스템 설계나 아키텍처를 변경하지 않고 현대 분산 시스템에 프로벤런스 추적을 추가할 수 있는가?
• RQ2 분산 시스템에 프로벤런스 추적을 인스트루먼테이션하기 위해 필요한 최소한의 런타임 및 코드 오버헤드는 얼마인가?
• RQ3 생산 환경에서 기반 분산 시스템과 함께 프로벤런스 관리가 어떻게 확장될 수 있는가?
• RQ4 정확성과 성능을 유지하면서도 응용 로직에서 프로벤런스 수집을 얼마나 분리할 수 있는가?

주요 결과

• Curator는 원래 시스템 설계에 어떠한 변경 없이도 분산 시스템에서 프로벤런스 추적을 가능하게 한다.
• 툴킷은 추가 코드와 종속성의 최소화로 통합 복잡성을 줄인다.
• 기본 분산 시스템의 인프라를 재사용함으로써 프로벤런스 수집이 자연스럽게 확장된다.
• 시스템 성능과 운영의 단순성은 유지하면서도 전체 라인리지 및 감사 기능을 제공한다.