[논문 리뷰] Bigtable Merge Compaction

Claire Mathieu, Carl Staelin외 2명|arXiv (Cornell University)|2014. 07. 11.

Cloud Computing and Resource Management참고 문헌 23인용 수 6

한 줄 요약

이 논문은 Bigtable의 LSM 기반 스토리지 시스템에서 온라인 컴팩션 정책을 설계하고 분석하기 위한 형식적 도구를 제안하며, 경쟁 분석을 통해 거의 최적의 성능을 달성하는 새로운 알고리즘을 제안한다. 이는 기존 히우리스틱보다 실질적인 워크로드(독립 동일 분포의 파일 길이 및 읽기 비율을 가짐)에서 컴팩션 및 읽기 비용을 크게 감소시키는 이론적으로 타당하고 경험적으로 검증된 정책을 제시한다.

ABSTRACT

NoSQL databases are widely used for massive data storage and real-time web applications. Yet important aspects of these data structures are not well understood. For example, NoSQL databases write most of their data to a collection of files on disk, meanwhile periodically compacting subsets of these files. A compaction policy must choose which files to compact, and when to compact them, without knowing the future workload. Although these choices can affect computational efficiency by orders of magnitude, existing literature lacks tools for designing and analyzing online compaction policies --- policies are now chosen largely by trial and error. Here we introduce tools for the design and analysis of compaction policies for Google Bigtable, propose new policies, give average-case and worst-case competitive analyses, and present preliminary empirical benchmarks.

연구 동기 및 목표

• Bigtable와 같은 NoSQL 데이터베이스에서 온라인 컴팩션 정책을 설계하고 분석하기 위한 형식적 도구의 부족을 해결하기 위해.
• LSM 기반 시스템에서 주요 성능 저하 요인인 컴팩션 및 읽기 연산의 계산 오버헤드를 줄이기 위해.
• 미래 워크로드를 알 수 없는 불확실성 하에서 경쟁 분석을 사용해 잘 작동하는 정책을 개발하기 위해.
• 최적 정책 및 온라인 정책 비용에 대한 이론적 경계를 제공하여 성능 추정 및 비교를 가능하게 하기 위해.
• 기존 히우리스틱(예: Google의 기본 정책 및 BRB)과의 경험적 검증을 통해 비용 절감을 보여주기 위해.

제안 방법

• 파일 길이가 스택에 푸시되고 연속적인 시퀀스로 병합되어 총 비용을 최소화하는 온라인 스택 기반 최적화 문제로 Bigtable 병합 컴팩션(BMC) 문제를 모델링한다.
• 스택 크기 k에 따라 달라지는 읽기 비용 함수 f(k)를 도입하여 다수의 레벨을 걸친 키 읽기 비용을 포괄한다.
• 병합 크기가 제한된 경우(BMC≤K)와 선형 읽기 비용(선형 BMC)에 대한 두 가지 새로운 온라인 알고리즘을 제안하며, 평균 파일 길이와 읽기 비율을 추정한 기반으로 적응형 병합을 사용한다.
• 최악의 경우 및 평균 경우 경쟁 분석을 적용하여 새로운 알고리즘이 최적의 오프라인 비용의 (1+o(1)) 요인 내에서 비용을 달성함을 증명한다.
• 단계 기반 병합 및 통계적 추정을 사용하여 평균 파일 길이와 읽기 비율에 대해 (1±ε)-정확한 추정치를 시간에 따라 유지한다.
• 이중 단계 전략을 활용한다: 초기 단계에서는 스택 크기를 줄이기 위해 적극적인 병합을 수행하고, 이후 단계에서는 추정된 최적 스케줄을 사용한 단계별 병합을 수행한다.

실험 결과

연구 질문

• RQ1 미래 워크로드를 알지 못하더라도, Bigtable용 온라인 컴팩션 정책을 최적에 가깝게 설계할 수 있는가?
• RQ2 이론적 경쟁 비율이 실질적인 독립 동일 분포 워크로드에서 온라인 정책의 경험적 성능와 어떻게 비교되는가?
• RQ3 평균 파일 길이와 읽기 비율을 적응적으로 추정하는 것이 실질적으로 거의 최적의 성능을 달성하는 데 기여하는가?
• RQ4 제안된 정책은 Google의 기본 정책 및 BRB와 같은 기존 히우리스틱과 비교해 총 비용과 확장성 측면에서 어떻게 다른가?
• RQ5 파일 길이 및 읽기 비율 분포가 다양한 컴팩션 전략의 성능에 어떤 영향을 미치는가?

주요 결과

• BMC≤K용으로 제안된 온라인 알고리즘은 최적의 오프라인 비용의 (1+o(1)) 이내의 기대 비용을 달성하며, 초기 단계에서 총 비용이 O(ℓ[1,n] + r[1,n])이다.
• 선형 BMC의 경우, 정리 4의 알고리즘이 점 渐진적으로 최적 비용 β log n(시간 단위)에 수렴하며, β는 1/2^(ℓ̄/β) + 1/2^(r̄/β) = 1을 만족한다.
• 경험적 벤치마크 결과, BRB 알고리즘이 Google의 기본 정책보다 뚜렷이 뛰어나며, 특히 n ≥ K·3^K일 경우 비용 절감이 최적 수준에 가까워진다.
• 작은 n에 대해서도 BRB는 최적에 가까운 성능를 보이며 기본 정책보다 뚜렷이 우수한데, 특히 파일 길이가 로그 정규 분포를 따르고 읽기 비율이 i.i.d. 지수 분포를 따를 경우 두드러진다.
• 정리 3의 알고리즘은 ℓ̄/r̄ 비율이 작을 때 잘 작동하지만, 이 비율이 클 경우 성능이 떨어지며, 워크로드 불균형에 민감함을 보인다.
• 종합적으로 제안된 정책들은 실질적으로 거의 최적의 성능을 달성하며, 기대 비용이 최적 비용의 (1+o(1)) 요인 내에 머물러 이론적 경쟁 분석의 타당성을 입증한다.