[논문 리뷰] A Learned Index for Exact Similarity Search in Metric Spaces

Yao Tian, Tingyun Yan외 3명|arXiv (Cornell University)|2022. 04. 21.

Data Management and Algorithms인용 수 10

한 줄 요약

이 논문은 메트릭 공간 내 정확한 유사도 검색을 위한 학습된 인덱스인 LIMS를 제안한다. LIMS는 데이터 클러스터링과 피벗 기반 변환을 사용하여 데이터를 균일하게 분포된 클러스터로 조직하고 총순서를 부여한다. 기계학습 모델을 통해 데이터 레코드의 위치를 예측함으로써, 기존 및 최신 학습된 인덱스보다 더 빠른 쿼리 처리 속도, 더 낮은 인덱스 크기, 더 뛰어난 확장성을 달성한다. 특히 고차원 및 동적 워크로드 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Indexing is an effective way to support efficient query processing in large databases. Recently the concept of learned index, which replaces or complements traditional index structures with machine learning models, has been actively explored to reduce storage and search costs. However, accurate and efficient similarity query processing in high-dimensional metric spaces remains to be an open challenge. In this paper, we propose a novel indexing approach called LIMS that uses data clustering, pivot-based data transformation techniques and learned indexes to support efficient similarity query processing in metric spaces. In LIMS, the underlying data is partitioned into clusters such that each cluster follows a relatively uniform data distribution. Data redistribution is achieved by utilizing a small number of pivots for each cluster. Similar data are mapped into compact regions and the mapped values are totally ordinal. Machine learning models are developed to approximate the position of each data record on disk. Efficient algorithms are designed for processing range queries and nearest neighbor queries based on LIMS, and for index maintenance with dynamic updates. Extensive experiments on real-world and synthetic datasets demonstrate the superiority of LIMS compared with traditional indexes and state-of-the-art learned indexes.

연구 동기 및 목표

• 기존 학습된 인덱스가 고차원 메트릭 공간에서 겪는 한계, 즉 정확한 유사도 검색을 지원하지 못하고 차원의 저주로 인해 성능이 저하되는 문제를 해결하기 위해.
• 좌표 기반 분할에 의존하지 않고도 메트릭 공간에서 정확한 포인트, 범위, k-NN 쿼리를 지원하는 디스크 기반 학습된 인덱스 아키텍처를 설계하기 위해.
• 데이터 클러스터링, 피벗 기반 변환, 위치 예측을 위한 학습 모델을 활용하여 스토리지 오버헤드를 줄이고 쿼리 효율성을 향상시키기 위해.
• 삽입 시에 영향을 받는 클러스터에 대해 증분 재학습과 부분 재빌드를 통해 인덱스 유지보수를 효율적으로 지원하기 위해.
• 정확성을 유지하면서도 근사 학습된 인덱스에서 흔히 발생하는 가짜 음성 결과를 피하고, 높은 성능과 확장성을 달성하기 위해.

제안 방법

• LIMS는 거리 기반 클러스터링을 사용하여 메트릭 공간 데이터를 클러스터로 분할함으로써 각 클러스터 내에서 균일한 데이터 분포를 확보한다.
• 각 클러스터에 대해 소수의 피벗을 선택하고, 데이터 객체를 이 피벗들로부터의 거리 벡터로 변환함으로써 차원 수를 피벗의 수로 감소시킨다.
• 피벗 기반 변환은 유사한 데이터를 밀도 높고 순서가 보장된 영역으로 매핑하여 데이터 레코드의 총순서를 부여함으로써 효율적인 검색을 가능하게 한다.
• 기계학습 모델(순위 예측 모델)을 학습시켜 각 데이터 레코드의 디스크 상 상대적 위치를 예측함으로써, 트리 탐색 대신 O(1) 기반 함수 기반 검색을 가능하게 한다.
• 범위 쿼리와 k-NN 쿼리는 학습된 모델 출력에 대해 지수 탐색을 적용하여 거리 계산과 I/O 연산을 최소화한다.
• 삽입 후 영향을 받는 클러스터에 대해 모델의 증분 재학습을 지원하며, 평균적으로 클러스터당 0.5초의 재학습 시간이 소요된다.

실험 결과

연구 질문

• RQ1 좌표 구조나 차원성이 없는 메트릭 공간에서 정확한 유사도 검색을 위한 학습된 인덱스를 효과적으로 설계할 수 있는가?
• RQ2 피벗 기반 데이터 변환과 클러스터링은 고차원 메트릭 공간에서 학습된 인덱싱의 차원의 저주 문제를 어떻게 완화할 수 있는가?
• RQ3 학습된 모델은 B+ -트리 및 기존 인덱스 대비 얼마나 많은 I/O 및 CPU 비용 절감을 이룰 수 있는가?
• RQ4 LIMS는 동적 데이터 업데이트 상황에서 어떻게 성능을 유지하며, 증분 인덱스 유지보수의 비용은 얼마인가?
• RQ5 학습된 모델 기반 접근 방식은 메트릭 공간에서 높은 정확도와 낮은 스토리지 오버헤드를 동시에 달성할 수 있는가?

주요 결과

• LIMS는 1,000만 개의 객체로 구성된 데이터셋에 4만 건의 삽입이 이루어진 후에도, 두 번째로 빠른 인덱스(28.05ms 대비 94.68ms)보다 최대 3.4배 더 빠른 쿼리 성능을 기록하며, 느리지만 안정적인 성능 저하를 보였다.
• LIMS는 GaussMix에서 R*-트리 대비 인덱스 크기를 1/3으로 줄였고, Signature에서 ML 대비 1/23로 감소시켜 뛰어난 스토리지 효율성을 입증했다.
• LIMS의 학습된 모델 기반 검색은 O(log n) 트리 탐색을 피함으로써 CPU 시간을 절감하여 쿼리당 O(1) 함수 호출을 달성했으며, 데이터 크가 커질수록 성능 이점이 커진다.
• 단일 클러스터 재학습에 평균 0.5초가 소요되어, 최소한의 오버헤드로 효율적인 동적 유지보수를 가능하게 했다.
• LIMS는 학습된 모델 대신 B+ -트리를 사용하는 N-LIMS보다 CPU 시간과 총 쿼리 시간 모두에서 뛰어난 성능을 보였으며, 위치 예측에서 기계학습의 효과를 확인했다.
• LIMS는 근사 학습된 인덱스에서 흔히 발생하는 가짜 음성 결과 없이 정확성을 유지하면서도, 뛰어난 속도와 스토리지 효율성을 동시에 확보했다.