[논문 리뷰] A Scalable Learned Index Scheme in Storage Systems

Pengfei Li, Yu Hua외 2명|arXiv (Cornell University)|2019. 05. 08.

Caching and Content Delivery참고 문헌 34인용 수 12

한 줄 요약

AIDEL은 상호 모델 종속성과 재학습 오버헤드를 줄이기 위해 독립적이고 적응형 선형 회귀 모델을 사용하는 확장 가능한 학습된 인덱스 기법을 제안한다. 데이터 분포에 따라 동적으로 모델을 할당하는 학습 프로브 알고리즘을 통해 AIDEL은 삽입 속도를 2배 빠르게 하고 최신 기술 수준의 학습된 인덱스와 유사한 검색 성능을 달성하며, 확장성과 메모리 효율성이 향상된다.

ABSTRACT

Index structures are important for efficient data access, which have been widely used to improve the performance in many in-memory systems. Due to high in-memory overheads, traditional index structures become difficult to process the explosive growth of data, let alone providing low latency and high throughput performance with limited system resources. The promising learned indexes leverage deep-learning models to complement existing index structures and obtain significant memory savings. However, the learned indexes fail to become scalable due to the heavy inter-model dependency and expensive retraining. To address these problems, we propose a scalable learned index scheme to construct different linear regression models according to the data distribution. Moreover, the used models are independent so as to reduce the complexity of retraining and become easy to partition and store the data into different pages, blocks or distributed systems. Our experimental results show that compared with state-of-the-art schemes, AIDEL improves the insertion performance by about 2$ imes$ and provides comparable lookup performance, while efficiently supporting scalability.

연구 동기 및 목표

• 기존 학습된 인덱스의 낮은 확장성 문제를 해결하기 위해 상호 모델 종속성과 높은 재학습 비용을 줄이기 위해.
• 폭발적인 데이터 증가를 겪는 메모리 기반 스토리지 시스템에서 메모리 오버헤드를 감소시키고 성능을 향상시키기 위해.
• 다른 데이터 영역에 걸쳐 모델을 분리함으로써 효율적인 데이터 분할 및 분포를 가능하게 하기 위해.
• 정렬된 리스트 구조를 통해 고속 검색 정확도를 유지하면서 저지연, 고처리량 삽입을 지원하기 위해.
• 예측 오차가 제한된 범위 내에 있도록 보장하고 불필요하거나 잘못된 모델를 제거하는 모델 할당 전략을 개발하기 위해.

제안 방법

• 로컬 데이터 분포 패턴에 따라 적응적으로 선형 회귀 모델을 할당하는 학습 프로브 알고리즘(LPA)을 제안하기 위해.
• 다른 데이터 세그먼트에 걸쳐 독립적인 모델을 사용하여 상호 모델 종속성을 제거하고 세그먼트별로 재학습이 가능하도록 하기 위해.
• 정렬된 리스트 구조를 구성하여 데이터 순서를 유지하고 범위 쿼리에 효율적으로 대응하기 위해.
• 예측 오차가 제한된 범위 내에 있도록 한계 예측 오차 임계값을 적용하여 높은 정확도의 모델만 검증함으로써 모델 신뢰성을 확보하기 위해.
• 기존 시스템과의 통합을 위해 전통적인 인덱스 구조에 모델을 저장하면서 기계학습을 활용해 위치 예측 기능을 활용하기 위해.
• 데이터를 영역으로 분해하고 각 영역에 대해 별도의 선형 모델을 훈련시어 분산 저장 및 병렬 처리를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 기존 기법에서 높은 상호 모델 종속성과 높은 재학습 비용으로 인해 학습된 인덱스의 확장성을 어떻게 향상시킬 수 있는가?
• RQ2 독립적이고 영역별 선형 회귀 모델을 사용하면 학습된 인덱싱에서 확장성 향상과 재학습 오버헤드 감소에 기여할 수 있는가?
• RQ3 데이터 분포에 기반한 적응형 모델 할당이 모델의 중복을 얼마나 줄이고 예측 정확도를 향상시킬 수 있는가?
• RQ4 제안된 기법은 B+트리 및 최신 기술 수준의 학습된 인덱스와 비교해 삽입 및 검색 처리량 측면에서 어떤 성능을 보이는가?
• RQ5 정렬된 리스트 구조를 사용하면 학습된 인덱싱의 이점을 포기하지 않고도 범위 쿼리를 효율적으로 지원할 수 있는가?

주요 결과

• AIDEL은 삽입 중심 워크로드에서 B+트리 대비 삽입 처리량을 1.3배에서 2.7배 향상시켜 뚜렷한 성능 향상을 보였다.
• AIDEL은 최신 기술 수준의 학습된 인덱스 기법과 유사한 검색 정확도를 유지하면서도 약 2배 높은 검색 처리량을 달성했다.
• 학습 프로브 알고리즘이 기준선 학습된 인덱스 대비 모델 수를 최대 90%까지 감소시켰다—15,000개의 유효 모델만 사용하는 데에 비해 기존 기준선은 약 200,000개의 모델과 17개의 잘못된 모델을 포함했다.
• 모든 모델이 사전 정의된 임계값 이내의 예측 오차를 가지도록 보장함으로써 AIDEL은 정확성을 보장하고 잘못되거나 중복된 모델를 제거했다.
• 모델 간 독립성 덕분에 효율적인 데이터 분할 및 분산 저장이 가능해져 재학습 비용을 크게 감소시키고 시스템의 확장성을 향상시켰다.
• 정렬된 리스트 구조를 통해 데이터 순서를 유지함으로써 학습된 인덱싱의 이점을 포기하지 않고도 효율적인 범위 쿼리를 지원했다.