[논문 리뷰] Norm-Ranging LSH for Maximum Inner Product Search

Xiao Yan, Jinfeng Li외 3명|arXiv (Cornell University)|2018. 09. 24.

Advanced Image and Video Retrieval Techniques인용 수 23

한 줄 요약

이 논문은 최대 내적 검색(MIPS)을 위한 새로운 해싱 방법인 Norm-Ranging LSH를 제안한다. 이 방법은 2-norm 백분위수 기반으로 데이터셋을 부분 데이터셋으로 분할하여 긴 尾部 분포로 인한 성능 저하를 완화한다. 각 부분 데이터셋에 대해 국소화된 정규화를 사용하여 Simple-LSH를 독립적으로 적용함으로써, 쿼리 시간 복잡도를 증명 가능하게 낮추고, Simple-LSH 대비 탐색 횟수를 한 차수 낮추어 MIPS 워크로드를 크게 가속화한다.

ABSTRACT

Neyshabur and Srebro proposed Simple-LSH, which is the state-of-the-art hashing method for maximum inner product search (MIPS) with performance guarantee. We found that the performance of Simple-LSH, in both theory and practice, suffers from long tails in the 2-norm distribution of real datasets. We propose Norm-ranging LSH, which addresses the excessive normalization problem caused by long tails in Simple-LSH by partitioning a dataset into multiple sub-datasets and building a hash index for each sub-dataset independently. We prove that Norm-ranging LSH has lower query time complexity than Simple-LSH. We also show that the idea of partitioning the dataset can improve other hashing based methods for MIPS. To support efficient query processing on the hash indexes of the sub-datasets, a novel similarity metric is formulated. Experiments show that Norm-ranging LSH achieves an order of magnitude speedup over Simple-LSH for the same recall, thus significantly benefiting applications that involve MIPS.

연구 동기 및 목표

• 실제 데이터셋에서 관찰되는 긴 尾部 2-노름 분포로 인해 Simple-LSH의 성능 저하 문제를 해결하기 위해.
• 내적 크기의 왜곡을 초래하는 과도한 전역 정규화를 피하여 MIPS에서 쿼리 시간 복잡도를 낮추기 위해.
• 고정된 파라미터 없이 높은 리콜을 유지하면서 탐색 대상 수를 최소화하는 강력한 해싱 프레임워크를 설계하기 위해.
• L2-ALSH와 같은 다른 LSH 기반 MIPS 방법으로의 일반화를 위해 데이터셋 분할 전략을 적용하기 위해.

제안 방법

• 2-노름 분포의 백분위수 기반으로 데이터셋을 부분 데이터셋으로 분할하여 유사한 크기의 아이템들을 그룹화하기 위해.
• 각 부분 데이터셋에 대해 최대 2-노름을 사용하여 국소화된 정규화를 적용하고, Simple-LSH를 하위 알고리즘으로 독립적으로 적용하기 위해.
• 다른 부분 데이터셋의 버킷 간 탐색 순서를 정의하기 위해 새로운 유사도 기준을 도입하여 효율적인 쿼리 처리를 가능하게 하기 위해.
• 약한 조건 하에서 Norm-Ranging LSH가 국소화된 정규화로 인한 충돌 확률 향상으로 인해 Simple-LSH보다 낮은 쿼리 시간 복잡도를 달성함을 증명하기 위해.
• 데이터셋을 분할하고, 전역 ρ보다 작은 부분 데이터셋 전용 ρ 값을 유도함으로써 프레임워크를 L2-ALSH로 확장하기 위해.
• 국소화된 정규화 인자를 사용해 각 부분 데이터셋 별로 파라미터를 최적화하여 과도하게 보수적인 전역 기준이 필요로 하는 것을 줄이기 위해.

실험 결과

연구 질문

• RQ1 실제 데이터셋에서 관찰되는 2-노름의 긴 尾部 분포가 Simple-LSH의 MIPS 성능에 악영향을 미치는가?
• RQ2 2-노름 백분위수 기반으로 데이터셋을 분할하면 Simple-LSH의 쿼리 시간 복잡도를 낮출 수 있는가?
• RQ3 Norm-Ranging LSH는 동일한 리콜 조건에서 Simple-LSH 및 L2-ALSH보다 낮은 탐색 횟수를 달성하는가?
• RQ4 다양한 분할 전략(예: 백분위수 대비 균일 분할)에 대해 Norm-Ranging LSH의 성능 향상이 견고한가?
• RQ5 데이터셋 분할 전략은 L2-ALSH와 같은 다른 LSH 기반 MIPS 알고리즘의 성능 향상에 일반화될 수 있는가?

주요 결과

• Norm-Ranging LSH는 세 개의 실제 데이터셋에서 동일한 리콜 조건에서 Simple-LSH 대비 탐색 횟수를 한 차수 낮춘다.
• 약한 조건 하에서 국소화된 정규화로 인한 충돌 확률 향상으로 인해 Norm-Ranging LSH는 Simple-LSH보다 증명 가능한 낮은 쿼리 시간 복잡도를 달성한다.
• 부분 데이터셋 수가 증가할수록 성능 향상이 이루어지지만, 충분히 큰 수가 되면 수익 감소 현상이 나타나 안정화된다.
• 균일 분할 전략이 백분위수 기반 분할 전략보다 略적으로 우수한 성능을 보이며, 유사한 노름을 그룹화하는 한 분할 전략에 대해 강건함을 보여준다.
• 데이터셋 분할 전략은 L2-ALSH로 일반화 가능하며, 더 작은 ρ 값을 도출하고 기존 방법보다 낮은 쿼리 시간 복잡도를 달성한다.
• 실험 결과에 따르면 Norm-Ranging LSH는 쿼리당 검토 대상 수를 줄여 MIPS 기반 응용 프로그램의 실행 속도를 크게 향상시킨다.