[논문 리뷰] LogPlayer: Fault-tolerant Exactly-once Delivery using gRPC Asynchronous Streaming

Mohammad Roohitavaf, Kun Ren외 2명|arXiv (Cornell University)|2019. 11. 25.

Advanced Data Storage Technologies인용 수 5

한 줄 요약

이 논문은 gRPC 기반의 시스템인 LogPlayer를 제안한다. 이는 백엔드 스토리지 샤드에 장애 내성적이고 순서 보장, 정확히 한 번만 전달하는 트랜잭션 로그 항목을 제공한다. 비동기 스트리밍과 복구 메커니즘을 사용하여 장애 발생 시에도 내구성과 정확성을 확보하며, 서브 밀리초 대기 지연을 달성하고, 정확히 한 번의 의미 체계를 적용할 경우 Apache Kafka를 최대 6배 빠르게 성능을 냈다.

ABSTRACT

In this paper, we present the design of our LogPlayer that is a component responsible for fault-tolerant delivery of transactional mutations recorded on a WAL to the backend storage shards. LogPlayer relies on gRPC for asynchronous streaming. However, the design provided in this paper can be used with other asynchronous streaming platforms. We model check the correctness of LogPlayer by TLA+. In particular, our TLA+ specification shows that LogPlayer guarantees in-order exactly-once delivery of WAL entries to the storage shards, even in the presence of shards or LogPlayer failures. Our experiments show LogPlayer is capable of efficient delivery with sub-millisecond latency, and it is significantly more efficient than Apache Kafka for designing a WAL system with exactly-once guarantee.

연구 동기 및 목표

• Write-Ahead Log(WAL)에서 분산 스토리지 샤드로 트랜잭션 변경 사항을 정확히 한 번만 전달하는 장애 내성 시스템을 설계한다.
• 비동기 스트리밍을 사용하여 샤드 또는 LogPlayer 장애에 대비한 순서 보장 전달을 확보한다.
• Apache Kafka와 같은 기존 스트리밍 플랫폼의 대안으로, 정확히 한 번 전달이 필요한 WAL 시스템에 적합한 고성능 솔루션을 제공한다.
• 구현 이전 단계에서 설계 결함을 탐지하고 수정하기 위해 TLA+를 사용한 형식적 검증을 통해 정확성을 공식적으로 검증한다.
• eBay의 GRIT과 JanusGraph와 같은 분산 시스템에서 확장 가능하고 엄격한 일관성 보장이 가능한 트랜잭션 처리를 가능하게 한다.

제안 방법

• LogPlayer는 gRPC 비동기 스트리밍을 사용하여 로그 서비스에서 fetcher 컴пон넌트를 통해 지속적으로 WAL 항목을 가져온다.
• 항목들은 대상별 큐에 디스패치되어 각 스토리지 샤드 별로 독립적으로 처리되며, 느린 대상이 다른 대상의 처리를 차단하는 것을 방지한다.
• 건강 모니터링 컴пон넌트가 실패하거나 연결이 끊긴 대상을 감지하고, 복구될 때까지 큐잉을 일시 정지하며, 누락된 항목을 위한 즉각적인 복구 스트림을 트리거한다.
• 복구 스트림은 오직 누락된 로그 범위만 재생하므로, 대상 재시작 시에 다시 실행되지 않도록 보장하고 순서 보장된 전달을 보장한다.
• 시스템은 네트워크 I/O와 스트림 처리를 분리하기 위해 gRPC의 완료 큐를 활용하여 고처리량과 저지연을 달성한다.
• 정확성은 장애 상황을 모델링하고 순서 보장, 정확히 한 번 전달을 증명하는 TLA+ PlusCal 사양을 사용하여 형식적으로 검증한다.

실험 결과

연구 질문

• RQ1 gRPC 기반 스트리밍 아키텍처가 분산 스토리지 샤드로 WAL 항목을 장애 내성적이고 순서 보장, 정확히 한 번 전달할 수 있는가?
• RQ2 정확히 한 번 전달 의미 체계를 적용할 경우, Kafka와 비교해 이러한 시스템의 성능은 어떻게 되는가?
• RQ3 대상 장애 후에 재처리나 누락된 항목 없이 일관성 있는 복구를 보장하기 위해 필요한 메커니즘은 무엇인가?
• RQ4 TLA+를 사용한 형식적 검증이 설계 단계에서 미묘한 일관성 버그를 탐지하고 방지할 수 있는가?
• RQ5 시스템 구성(예: 대상 수, 트랜잭션 크기)이 종단 간 지연과 확장성에 미치는 영향은 무엇인가?

주요 결과

• 모든 실험에서 LogPlayer는 중앙값과 평균 지연이 1밀리초 이하로 서브 밀리초 수준을 달성했다.
• 10개의 샤드를 통해 10KB의 페이로드를 가진 트랜잭션의 경우, LogPlayer는 정확히 한 번 전달 의미 체계를 적용할 경우 Kafka보다 평균적으로 4배 빠르게 작동했다.
• 99번째 백분율 꼬리 지연에서, 정확히 한 번 전달 보장을 적용할 경우 LogPlayer는 Kafka보다 6배 더 빠르게 작동했다.
• 고부하 상황에서도 안정적으로 유지되며, 대상 수가 증가함에 따라 지연이 크게 증가하지 않아 효율적인 확장성이 확보되었다.
• TLA+ 모델 체크는 초도 아키텍처에서 다수의 설계 결함를 발견했으며, 최종 알고리즘에서 이를 수정했다.
• WAL 주제와 샤드 주제를 두 단계로 나누는 Kafka 기반 설계는 배압 메커니즘이 없어 지속적인 지연 증가를 보였으며, 생산 환경의 WAL 시스템에 비실용적이었다.