[논문 리뷰] Learned Indexes for a Google-scale Disk-based Database

Hussam Abu-Libdeh, Deniz Altınbüken외 8명|arXiv (Cornell University)|2020. 12. 23.

Advanced Database Systems and Queries참고 문헌 13인용 수 14

한 줄 요약

이 논문은 Google의 Bigtable—생산 규모의 분산형 디스크 기반 데이터베이스—에 학습된 인덱스를 처음으로 통합한 것으로, 성능 향상이 뚜렷하게 입증되었다. 저자들은 메모리 내 오프셋 대신 블록 위치를 예측하도록 학습된 인덱스를 적응시켜 인덱스 크기를 줄이고 디스크 I/O를 최소화하며, 포인트 룩업의 경우 최대 38%까지 종단 간 읽기 지연 시간과 처리량을 향상시키고 스캔의 경우 최대 56%까지 향상시켰다. 주로 블록 읽기 수 감소와 더 나은 압축으로 인한 부수적 효과 덕분이었다.

ABSTRACT

There is great excitement about learned index structures, but understandable skepticism about the practicality of a new method uprooting decades of research on B-Trees. In this paper, we work to remove some of that uncertainty by demonstrating how a learned index can be integrated in a distributed, disk-based database system: Google's Bigtable. We detail several design decisions we made to integrate learned indexes in Bigtable. Our results show that integrating learned index significantly improves the end-to-end read latency and throughput for Bigtable.

연구 동기 및 목표

• 학습된 인덱스가 Bigtable와 같은 실제 환경에서 디스크 기반의 분산 데이터베이스에서 실용적인가를 평가하기 위해.
• 고규모 실세계 워크로드를 가진 생산 시스템에서 측정 가능한 성능 향상을 통해 학습된 인덱스에 대한 의심을 해소하기 위해.
• 이전의 학습된 인덱스 설계의 한계—특히 디스크 기반 시스템과의 호환성 부족 및 블록 수준 스토리지 지원 부족—을 극복하기 위해 모델을 재설계하여 블록 위치를 예측하도록 하였다.
• 포인트 룩업과 범위 스캔 모두에 대해 학습된 인덱스의 영향을 지연 시간, 처리량, 자원 효율성 측면에서 평가하기 위해.
• 학습된 인덱스의 이점이 더 빠른 룩업을 넘어서, 더 적은 I/O, 더 나은 캐싱, 더 낮은 CPU 사용량(작은 인덱스 크기와 더 적은 압축 해제 작업 수로 인해)을 포함함을 보여주기 위해.

제안 방법

• 원래의 학습된 인덱스 모델을 메모리 내 오프셋 대신 블록 번호를 예측하도록 적응시켜 Bigtable의 블록 기반 스토리지 아키텍처와의 호환성을 확보하였다.
• 문자 기반의 기수 변환 기법을 사용하여 문자열 키를 정수로 인코딩하며, 각 문자 위치는 관측된 범위(최소/최대 ASCII 값)에 비례하는 기수를 사용하여 단조성과 OLS 모델 학습의 효율성을 확보하였다.
• 인코딩된 키를 기반으로 일반 최소 제곱법(OLS) 모델을 학습하여 블록 위치의 누적분포함수(CDF)를 예측함으로써, 보간을 통한 빠른 포인트 룩업을 가능하게 하였다.
• 압축이 가능한 블록 매핑 테이블 B를 구성하여 예측된 블록 범위의 디스크 위치를 저장함으로써 효율적인 랜덤 액세스를 가능하게 하고, 키 저장을 제거함으로써 스토리지 오버헤드를 감소시켰다.
• 기존의 SSTable 및 타블릿 서버 아키텍처에 학습된 인덱스를 통합하여 모델 학습을 왁기 경로에서 분리함으로써 왳기 성능에 영향을 주지 않도록 하였다.
• 작은 인덱스 크기를 활용하여 더 적은 수의 인덱스 블록 읽기를 유도하고, 캐시 효율성을 향상시키며, 데이터 검색 시 압축 해제 오버헤드를 줄였다.

실험 결과

연구 질문

• RQ1 Bigtable와 같은 실제 환경에서 디스크 기반의 분산 데이터베이스 시스템에서 학습된 인덱스가 측정 가능한 성능 향상을 제공할 수 있는가?
• RQ2 학습된 인덱스의 통합이 포인트 룩업과 범위 스캔 모두에 대해 종단 간 읽기 지연 시간과 처리량에 어떤 영향을 미치는가?
• RQ3 원래 메모리 어레이를 대상으로 설계된 학습된 인덱스를 블록 기반 디스크 스토리지 시스템에 적응시키기 위해 어떤 아키텍처 수정이 필요한가?
• RQ4 부수적 효과(예: 감소한 I/O, 더 나은 압축, 개선된 캐싱)가 더 빠른 룩업 속도를 넘어서 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 학습된 인덱스 사용이 왳기 성능에 영향을 주는가? 그리고 모델 학습을 왳기 경로에서 분리하여 시스템의 처리량을 유지할 수 있는가?

주요 결과

• 포인트 룩업의 경우 99번째 백분율에서 지연 시간이 38% 감소했고, 평균적으로도 36% 감소하였다. 스캔의 경우 유사한 향상이 관찰되었다.
• 포인트 룩업의 경우 99번째 백분율에서 처리량이 54% 증가했고, 평균적으로 55% 증가하였으며, 스캔의 경우 99번째 백분율에서 56% 증가했고, 평균적으로 28% 증가하였다.
• 성능 향상의 주요 원인은 I/O 감소—더 적은 수의 인덱스 블록 접근—덕분이었으며, 이로 인해 압축 해제 오버헤드가 감소하고 캐시 활용도가 향상되었다.
• 인덱스 크기가 크게 감소하여 냉각 캐시 상태에서도 더 적은 디스크 읽기를 유도하였고, 이는 꼬리 지연 시간을 크게 향상시켰다.
• 모델 학습이 왳기 경로에서 분리되어 왳기 성능에 영향을 주지 않아 생산 시스템의 안정성이 유지되었다.
• 다양한 키 분포와 값 크기에 걸쳐 일반화되었으며, 지속적인 실험에서 일관된 성능 향상이 관찰되었다.