[논문 리뷰] Toward a Principled Framework for Benchmarking Consistency

Muntasir Raihan Rahman, Wojciech Golab외 3명|arXiv (Cornell University)|2012. 11. 19.

Distributed systems and fault tolerance참고 문헌 28인용 수 55

한 줄 요약

이 논문은 캐시스트라와 같은 일관성 보장이 느린 키-값 시스템에서 실제 데이터 일관성을 측정하기 위한 클라이언트 중심의 비침습적 벤치마킹 프레임워크를 제안한다. YCSB를 확장하여 $Δ$-원자성 메트릭을 사용해 읽기 지연을 추적함으로써, 최소한의 성능 오버헤드로 실제 환경에서의 일관성 행동을 캡처한다. 그 결과 캐시스트라는 일반적으로 1ms 내외의 지연을 보이지만 최악의 경우 233ms까지 지연이 발생하는 장수분포를 보임을 확인하였다.

ABSTRACT

Large-scale key-value storage systems sacrifice consistency in the interest of dependability (i.e., partition tolerance and availability), as well as performance (i.e., latency). Such systems provide eventual consistency,which---to this point---has been difficult to quantify in real systems. Given the many implementations and deployments of eventually-consistent systems (e.g., NoSQL systems), attempts have been made to measure this consistency empirically, but they suffer from important drawbacks. For example, state-of-the art consistency benchmarks exercise the system only in restricted ways and disrupt the workload, which limits their accuracy. In this paper, we take the position that a consistency benchmark should paint a comprehensive picture of the relationship between the storage system under consideration, the workload, the pattern of failures, and the consistency observed by clients. To illustrate our point, we first survey prior efforts to quantify eventual consistency. We then present a benchmarking technique that overcomes the shortcomings of existing techniques to measure the consistency observed by clients as they execute the workload under consideration. This method is versatile and minimally disruptive to the system under test. As a proof of concept, we demonstrate this tool on Cassandra.

연구 동기 및 목표

• 일관성 보장이 느린 키-값 시스템의 실제 배포 환경에서 정확하고 비침습적인 일관성 측정 방법의 부족을 해결하기 위해.
• 작업을 삽입함으로써 시스템 동작을 왜곡하는 기존 벤치마킹의 한계를 극복하여 최악의 경우나 정확하지 않은 일관성 측정을 방지하기 위해.
• 실제 워크로드 하에서 클라이언트가 관찰하는 실제 일관성을 반영하는 시스템에 종속되지 않은 클라이언트 중심의 접근법을 제공하기 위해.
• 생산 환경 유사 설정에서 성능과 일관성 간의 트레이드오프를 정량화하여 시스템 설정 및 배포 결정을 안내하기 위해.
• 이론적 또는 최악의 경우가 아닌 관찰된 일관성을 기반으로 하여, 다양한 일관성 모델과 구현 간의 공정한 비교를 가능하게 하기 위해.

제안 방법

• YCSB 벤치마킹 프레임워크를 확장하여 각 읽기 및 왤기 작업의 정확한 시작 및 종료 시간을 밀리초 정밀도 시계를 사용해 기록하는 인스트루멘테이션을 구현한다.
• 읽기 작업이 반환한 데이터의 지연 정도를 정량화하기 위해 $\chi$ 점수 함수를 도입한다. 이는 왤기 작업 완료 시점과 읽기 작업 응답 시점 간의 시간 차이를 측정하는 $\Delta$-원자성 모델에 기반한다.
• $\chi$ 메트릭을 사용해 각 읽기 작업의 상대적 지연 정도를 계산하고, 일관성 행동의 히스토그램 및 시계열 시각화를 가능하게 한다.
• 실제 접근 패턴을 시뮬레이션하기 위해 핫 키를 사용하는 읽기 중심(80% get, 20% put) 워크로드를 사용해 캐시스트라에 이 메서드를 적용한다.
• 키 공간의 부분 집합에 대해 키를 무작위로 샘플링하여 $\chi$ 및 $\Delta$를 계산함으로써, 전체 인스트루멘테이션 없이도 확장 가능한 측정이 가능하도록 한다.
• 인스트루멘테이션의 성능 오버헤드를 측정하여 5% 미만임을 확인함으로써, 시스템 테스트 중 최소한의 영향을 미친다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 일관성 보장이 느린 키-값 시스템에서 워크로드를 방해하지 않으면서도 정확하게 일관성을 측정할 수 있는 방법은 무엇인가?
• RQ2 실제 배포 환경에서 클라이언트가 관찰하는 데이터 지연의 실제 분포는 최악의 경우 행동과 어떻게 다를까?
• RQ3 실제 읽기 중심 워크로드 하에서 캐시스트라의 일관성 행동은 시간에 따라 어떻게 변화하며, 다양한 키들 간에 어떻게 달라지는가?
• RQ4 현재의 인스트루멘테이션이 시스템 성능에 얼마나 영향을 미치며, 비침습적이라 할 수 있는가?
• RQ5 시스템에 종속되지 않은 클라이언트 중심의 메트릭이 다양한 설정이나 일관성 모델 간의 의미 있는 일관성 차이를 포착할 수 있는가?

주요 결과

• 벤치마킹 결과 캐시스트라는 장수분포를 보이며, 대부분의 읽기 작업이 최신 왤기 이후 1ms 내로 데이터를 반환하지만, 일부 작업은 최대 233ms의 지연을 경험함을 확인하였다.
• 시간 시계열 시각화에서 대부분의 지연 값은 x축 근처에 집중되어 있었으며, 이는 대부분의 읽기가 일관성을 유지하고 있음을 시사하지만, 간헐적으로 '일관성 급증' 현상이 관찰됨을 의미한다.
• 인스트루멘테이션의 성능 오버헤드는 5% 미만이었으며, 이는 방법이 최소한의 영향을 미치고 생산 환경 유사 평가에 적합하다는 것을 입증한다.
• $\chi$ 메트릭은 키 간 데이터의 상대적 지연 정도를 성공적으로 포착하여 일관성 행동의 분포적 및 시간적 분석이 가능하게 하였다.
• 설정 결정(예: 복제 인자 및 쿠오럼 크기)은 추측이 아닌 경험적 일관성 측정을 기반으로 이끌 수 있음을 시사한다.
• 이 방법은 다양한 키-값 시스템과 일관성 모델 간의 정확하고 시스템에 종속되지 않은 일관성 행동 비교를 가능하게 한다.