[논문 리뷰] Dynamic Enumeration of Similarity Joins

Pankaj K. Agarwal, Xiao Hu외 2명|arXiv (Cornell University)|2021. 01. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 2

한 줄 요약

이 논문은 점 삽입 및 삭제 상황에서 worst-case 지연 보장을 갖는 효율적인 유사도 조인 열거를 위한 동적 데이터 구조를 제시한다. 계층적 분할과 국소성에 민감한 해싱(LSH)을 사용하여 ℓ1, ℓ∞, ℓ2 거리 측정법에 대해 근선형 및 선형 크기의 구조를 설계하였으며, 다항로그 시간 수준의 업데이트 및 지연 시간을 달성하였고, 고차원에서 (1+2ε)-근사 열거를 실현한다.

ABSTRACT

This paper considers enumerating answers to similarity-join queries under dynamic updates: Given two sets of $n$ points $A,B$ in $\mathbb{R}^d$, a metric $ϕ(\cdot)$, and a distance threshold $r > 0$, report all pairs of points $(a, b) \in A imes B$ with $ϕ(a,b) \le r$. Our goal is to store $A,B$ into a dynamic data structure that, whenever asked, can enumerate all result pairs with worst-case delay guarantee, i.e., the time between enumerating two consecutive pairs is bounded. Furthermore, the data structure can be efficiently updated when a point is inserted into or deleted from $A$ or $B$. We propose several efficient data structures for answering similarity-join queries in low dimension. For exact enumeration of similarity join, we present near-linear-size data structures for $\ell_1, \ell_\infty$ metrics with $\log^{O(1)} n$ update time and delay. We show that such a data structure is not feasible for the $\ell_2$ metric for $d \ge 4$. For approximate enumeration of similarity join, where the distance threshold is a soft constraint, we obtain a unified linear-size data structure for $\ell_p$ metric, with $\log^{O(1)} n$ delay and update time. In high dimensions, we present an efficient data structure with worst-case delay-guarantee using locality sensitive hashing (LSH).

연구 동기 및 목표

• 점 업데이트(삽입/삭제) 상황에서 효율적인 유사도 조인 열거를 지원하는 동적 데이터 구조 설계
• 질의 처리 중 연속적인 결과 열거 간의 지연 시간이 항상 유한함을 보장하는 worst-case 지연 보장 달성
• 낮은 차원과 높은 차원 모두에서 정확한 및 근사 유사도 조인을 지원하며, 증명 가능한 성능 한계 확보
• 초기 결과가 핵심적인 상호작용 또는 탐색형 데이터 분석 환경에서 효율성을 유지하는 문제 해결
• ℓp 거리 측정법 전반에 걸쳐 통합된 프레임워크 제공, 특히 LSH를 통한 고차원 ℓ2 거리 측정법 포함

제안 방법

• 근접성 질의를 효율적으로 관리하기 위해 공간을 버킷으로 계층적으로 분할하고, 근사 거리 검사를 위한 프록시 버킷 사용
• 중복 계산을 줄이기 위해 대표 쌍과 활성 버킷을 유지
• 고차원에서 국소성에 민감한 해싱(LSH)을 적용하여 (1+2ε)-근사 유사도 조인을 저지연으로 실현
• 각 쌍이 최대 한 번만 보고되도록 중복 제거 절차 도입으로 정확성 유지
• 균형 분석과 주기적 재구성 기법을 활용해 업데이트 시간의 경계 유지, 특히 고차원 케이스에서 유리
• 이전 LSH 연구에서 확보된 확률적 보장을 활용해 근사 열거의 고확률 정확성 확보

실험 결과

연구 질문

• RQ1 점 업데이트 상황에서 worst-case 지연 보장을 갖는 동적 데이터 구조를 설계할 수 있는가?
• RQ2 d ≥4 인 ℓ2 거리 측정법에서 정확한 유사도 조인의 최저 업데이트 및 지연 시간 이론적 한계는 무엇인가?
• RQ3 단일 효율적 데이터 구조를 통해 다양한 ℓp 거리 측정법의 유사도 조인을 통합적으로 다룰 수 있는가?
• RQ4 LSH를 활용해 고차원 ℓ2 공간에서 효율적인 근사 열거를 달성할 수 있는가?
• RQ5 동적 유사도 조인 처리에서 근사 요소, 업데이트 시간, 지연 시간 간의 상호 상충 관계는 무엇인가?

주요 결과

• ℓ1 및 ℓ∞ 거리 측정법에서는 O(log^O(1) n) 업데이트 및 지연 시간을 갖는 근선형 크기의 데이터 구조를 구성함
• d ≥4 인 ℓ2 거리 측정법에서는 O(log^O(1) n) 지연 및 업데이트 시간을 갖는 정확한 유사도 조인은 표준 가정 하에 증명적으로 불가능함
• ℓp 거리 측정법 전반에 대해 (1+2ε)-근사 열거를 지원하며 O(log^O(1) n) 지연 및 업데이트 시간을 갖는 통합 선형 크기의 데이터 구조 제안
• 고차원에서는 LSH 기반 접근법이 (1+2ε)-근사 열거를 실현하며, eO(dn^2ρ) 지연 및 eO(dn^2ρ) 평균 업데이트 시간 확보, 여기서 ρ = 1/(1+ε)^2
• ε > 1 인 해밍 및 ℓ1 거리 측정법에서는 지연 시간을 eO(dn^ρ)로 줄일 수 있으며, ρ = 1/(1+ε) 이고 (3+2ε)-근사 열거 달성
• 프레임워크는 전체 구조를 재구성하지 않고도 동적 업데이트와 효율적 열거를 지원하여 실용적 확장성 확보