[논문 리뷰] OOD-DiskANN: Efficient and Scalable Graph ANNS for Out-of-Distribution Queries

Shikhar Jaiswal, Ravishankar Krishnaswamy외 3명|arXiv (Cornell University)|2022. 10. 22.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

OOD-DiskANN는 인덱스 구축 중에 소량의 OOD 쿼리를 활용하여 분포 외(OOD) 쿼리를 효율적으로 처리할 수 있도록 수정한 그래프 기반 근사 근접 이웃 검색(ANNS) 인덱스를 제안한다. 쿼리 인식형 제품 양자화와 병렬화된 그래프 재정렬 알고리즘을 통합함으로써, 상태 기준 기법 대비 OOD 쿼리에 대해 최대 40% 높은 레이턴시 저감을 달성하면서도 높은 리콜과 유사한 빌드 시간 및 메모리 사용량을 유지한다.

ABSTRACT

State-of-the-art algorithms for Approximate Nearest Neighbor Search (ANNS) such as DiskANN, FAISS-IVF, and HNSW build data dependent indices that offer substantially better accuracy and search efficiency over data-agnostic indices by overfitting to the index data distribution. When the query data is drawn from a different distribution - e.g., when index represents image embeddings and query represents textual embeddings - such algorithms lose much of this performance advantage. On a variety of datasets, for a fixed recall target, latency is worse by an order of magnitude or more for Out-Of-Distribution (OOD) queries as compared to In-Distribution (ID) queries. The question we address in this work is whether ANNS algorithms can be made efficient for OOD queries if the index construction is given access to a small sample set of these queries. We answer positively by presenting OOD-DiskANN, which uses a sparing sample (1% of index set size) of OOD queries, and provides up to 40% improvement in mean query latency over SoTA algorithms of a similar memory footprint. OOD-DiskANN is scalable and has the efficiency of graph-based ANNS indices. Some of our contributions can improve query efficiency for ID queries as well.

연구 동기 및 목표

• 크로스모달 텍스트-이미지 검색과 같은 분포 외(OOD) 쿼리가 발생할 경우 ANNS 시스템에서 심각한 성능 저하를 해결하기 위해.
• 메모리 및 빌드 시간 오버헤드를 증가시키지 않으면서도 내부 분포(ID) 쿼리 성능을 훼손하지 않고 OOD 쿼리의 검색 효율을 향상시키기 위해.
• 인덱스 구축 시 OOD 쿼리의 소량 샘플만을 사용하여 분포에 적응하는 확장 가능한 디스크 기반 ANNS 시스템을 개발하기 위해.
• 기본 데이터와 다른 분포에서 유래된 쿼리에 대해 최소한의 재구성 오차를 갖는 중심점(centroids)을 학습하기 위해 쿼리 인식형 및 적응형 피봇 학습을 도입하여 제품 양자화 기법을 OOD 환경에 맞게 개선하기 위해.
• 디스크 기반 대규모 ANNS 워크로드를 대상으로 DiskANN의 그래프 재정렬 단계를 병렬화하고 최적화하기 위해.

제안 방법

• 인덱스 빌드 중에 인덱스 크기의 1% 내외의 소량의 OOD 쿼리를 포함시켜 DiskANN의 그래프 구축을 확장함으로써 OOD 쿼리에 대한 더 나은 라우팅을 가능하게 한다.
• 기본 데이터와 OOD 쿼리 양쪽에 대해 재구성 오차를 최소화하는 중심점(centroids)을 학습하기 위해 쿼리 인식형 제품 양자화(APQ)와 적응형 OQ(AOPQ)를 도입한다.
• 최신 기술 수준의 그래프 재정렬 알고리즘을 적응시켜 병렬화함으로써 디스크 기반 ANNS 시스템에서 I/O를 감소시키고 검색 효율을 향상시킨다.
• 분포 이탈을 체계적으로 평가하기 위해 OOD 쿼리 집합을 식별하기 위해 마할라노비스 거리 히스토GRAM을 프록시로 사용한다.
• 검색 중에 빔 너비 4의 빔 서치를 사용하고, 다중 코어 하드웨어에서 레이턴시 최적화를 위해 16개의 검색 스레드를 활용한다.
• 고정된 RAM 예산 200GB를 유지하며, 메모리 내 또는 디스크 기반 저장에 따라 M = D 또는 M = D/4로 8비트 제품 양자화를 사용한다.

실험 결과

연구 질문

• RQ1 소량의 OOD 쿼리 샘플을 사용하여 내부 분포(ID) 성능을 저하시키지 않고도 분포 외 쿼리에 대한 ANNS 효율을 크게 향상시킬 수 있는가?
• RQ2 기본 데이터와 다른 분포에서 유래된 쿼리에 대해 제품 양자화 기법을 어떻게 개선하여 양자화 오차를 줄일 수 있는가?
• RQ3 병렬화된 그래프 재정렬이 디스크 기반 ANNS 시스템에서 OOD 쿼리의 I/O 및 레이턴시에 어떤 영향을 미치는가?
• RQ4 쿼리 분포에 민감한 인덱스 구축 기법을 통해 ID 및 OOD 쿼리 간의 레이턴시 격차를 어느 정도 줄일 수 있는가?
• RQ5 제안된 방법이 메모리 및 빌드 시간 효율성을 유지하면서도 OOD 쿼리에 대해 최신 기술 수준의 리콜과 레이턴시 트레이드오프를 달성할 수 있는가?

주요 결과

• OOD-DiskANN는 최신 기술 수준의 ANNS 기법 대비 OOD 쿼리의 평균 레이턴시를 10–25% 감소시켰으며, 동일한 리콜 목표에서 최대 40% 향상된 레이턴시를 달성했다.
• 검색 중 I/O 요청 수가 15–40% 감소하여 직접적으로 레이턴시 저감에 기여했다.
• 빌드 시간은 7–12% 증가에 그치며, 피크 RAM 또는 디스크 사용량은 증가하지 않았다.
• 쿼리 인식형 제품 양자화(APQ)와 적응형 OQ(AOPQ)는 OOD 쿼리에 대해 양자화 오차를 크게 감소시켜 검색 효율을 향상시켰다.
• 병렬화된 그래프 재정렬 알고리즘은 I/O를 감소시키며 디스크 기반 대규모 데이터셋에서도 높은 성능을 유지했다.
• 세 개의 대규모 데이터셋(Yandex Text-to-Image-1B, Turing Text-to-Image, Web Ads)에서 기존 ANNS 시스템 대비 OOD 쿼리에 대해 일관되게 뛰어난 성능을 보였다.