[논문 리뷰] Superseding traditional indexes by orchestrating learning and geometry

Giorgio Vinciguerra, Paolo Ferragina외 1명|arXiv (Cornell University)|2019. 03. 01.

Data Management and Algorithms참고 문헌 33인용 수 5

한 줄 요약

이 논문은 키 분포의 기하적 분할을 선형 모델을 통해 사용함으로써 B-트리와 이전의 러닝 인덱스보다 뛰어난 시간 및 공간 효율성을 달성하는 학습된 인덱스인 조각별 기하 모델 인덱스(PGM-index)를 소개한다. 또한 분포 인식 변형을 제안하고, 저장소 및 쿼리 시간 간의 응용 프로그램 특화 트레이드오프를 자동 최적화할 수 있는 다기준 데이터 구조로서 PGM-index를 확립하며, 실험 결과 몇 개의 주요 개선을 보여준다.

ABSTRACT

We design the first learned index that solves the dictionary problem with time and space complexity provably better than classic data structures for hierarchical memories, such as B-trees, and modern learned indexes. We call our solution the Piecewise Geometric Model index (PGM-index) because it turns the indexing of a sequence of keys into the coverage of a sequence of 2D-points via linear models (i.e. segments) suitably learned to trade query time vs space efficiency. This idea comes from some known heuristic results which we strengthen by showing that the minimal number of such segments can be computed via known and optimal streaming algorithms. Our index is then obtained by recursively applying this geometric idea that guarantees a smoothed adaptation to the "geometric complexity" of the input data. Finally, we propose a variant of the index that adapts not only to the distribution of the dictionary keys but also to their access frequencies, thus obtaining the first distribution-aware learned index. The second main contribution of this paper is the proposal and study of the concept of Multicriteria Data Structure, namely one that asks a data structure to adapt in an automatic way to the constraints imposed by the application of use. We show that our index is a multicriteria data structure because its significant flexibility in storage and query time can be exploited by a properly designed optimisation algorithm that efficiently finds its best design setting in order to match the input constraints. A thorough experimental analysis shows that our index and its multicriteria variant improve uniformly, over both time and space, classic and learned indexes up to several orders of magnitude.

연구 동기 및 목표

• 계층적 메모리 시스템에서 기존 B-트리와 현대의 러닝 인덱스를 모두 능가하는 시간 및 공간 복잡도를 갖는 학습된 인덱스를 설계하는 것.
• 키 분포의 기하학적 복잡도를 형식화하고 이를 선형 세그먼트로 덮는 2차원 점 집합으로 모델링함으로써 활용하는 것.
• 입력 데이터의 기하학적 복잡도에 부드럽게 적응할 수 있도록 재귀적인 기하학적 구조를 개발하는 것.
• 키 접근 빈도 정보를 통합하여 분포 인식 변형을 도입함으로써 인덱스를 분포 인식형으로 확장하는 것.
• 성능 및 저장소 제약 조건에 따라 응용 프로그램 특화 트레이드오프를 자동으로 최적화할 수 있는 다기준 데이터 구조의 개념을 도입하고 연구하는 것.

제안 방법

• PGM-index는 정렬된 키의 시퀀스를 2차원 점 집합으로 모델링하며, 각 키는 좌표 (i, key_i)로 매핑되고, 스트리밍 알고리즘을 통해 학습된 최소 수의 선분으로 이 집합을 덮는다.
• 최소 수의 선분을 계산하기 위해 알려진 최적의 스트리밍 알고리즘을 사용하여 선분 선택의 이론적 효율성을 보장한다.
• 이 기하학적 분할을 재귀적으로 적용하여 쿼리 시간과 저장소 사용량을 균형 잡은 계층적이고 적응형 구조를 만든다.
• 분포 인식 변형은 키 접근 빈도에 따라 선분을 가중치를 두어 개선된 성능을 달성한다.
• 사용자 정의 제약 조건에 기반하여 저장소와 쿼리 시간 간 최적의 트레이드오프를 선택하는 최적화 알고리즘을 적용하여 인덱스를 다기준 데이터 구조로 형식화한다.
• 최소 선분 커버리지에 대한 스트리밍 알고리즘의 사용으로 이론적 보장을 도출하여 최적의 기하학적 분할을 보장한다.

실험 결과

연구 질문

• RQ1 시간 및 공간 복잡도에서 B-트리와 기존의 러닝 인덱스를 증명 가능하게 능가하는 학습된 인덱스를 설계할 수 있는가?
• RQ2 키 분포의 기하학적 성질을 어떻게 활용하여 더 효율적인 색인 구조를 구축할 수 있는가?
• RQ3 키 시퀀스를 덮기 위해 필요한 최소 수의 선형 세그먼트를 효율적으로 계산하고, 이를 기반으로 확장 가능한 인덱스를 구축할 수 있는가?
• RQ4 공간 및 시간 효율성을 유지하면서 접근 빈도 패턴에 얼마나 잘 적응할 수 있는가?
• RQ5 사용자 정의 제약 조건 하에 저장소 및 쿼리 시간 간 응용 프로그램 특화 트레이드오프를 자동으로 최적화할 수 있도록 데이터 구조를 공식적으로 다기준 구조로 정의할 수 있는가?

주요 결과

• PGM-index는 키 분포를 선형 세그먼트로 덮는 기하학적 점 집합으로 모델링함으로써 B-트리와 기존의 러닝 인덱스보다 증명 가능하게 뛰어난 시간 및 공간 복잡도를 달성한다.
• 최소 선분 커버리지에 대한 최적의 스트리밍 알고리즘을 사용함으로써 기하학적 분할이 효율적이고 최소화됨을 보장한다.
• 기하학적 모델의 재귀적 적용을 통해 입력 데이터의 내재된 기하학적 복잡도에 부드럽게 적응할 수 있다.
• PGM-index의 분포 인식 변형은 세그먼트 학습 과정에 접근 빈도를 통합함으로써 자주 액세스되는 키에 대한 성능을 향상시킨다.
• 실험 평가 결과, PGM-index는 고전적 및 러닝 인덱스 모두에서 시간 및 공간 면에서 균일하게 개선되었으며, 몇 개의 주요 개선을 보였다.
• PGM-index는 다기준 데이터 구조로 공식적으로 정의되었으며, 사용자 정의 제약 조건 하에 최적의 설계 파rameter를 자동으로 선택하는 최적화 프레임워크를 갖추고 있다.