[논문 리뷰] RACE: Sub-Linear Memory Sketches for Approximate Near-Neighbor Search on Streaming Data.

Benjamin Coleman, Anshumali Shrivastava외 1명|arXiv (Cornell University)|2019. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 4

한 줄 요약

RACE는 스트리밍 데이터에서 근사 근접 이웃 검색을 위한 첫 번째 비선형 메모리 스케치를 도입하며, LSH 기반 추정(ACE), 압축 측정, 헤비 히터 기법을 결합하여 N개의 고차원 벡터를 크기가 O(N^b log²N)인 스케치로 압축한다. 여기서 b < 1이다. 이는 높은 확률로 상위 v개의 근접 이웃을 효율적으로 검색할 수 있게 하며, 기존의 O(N) 메모리 장벽을 돌파한다.

ABSTRACT

We demonstrate the first possibility of a sub-linear memory sketch for solving the approximate near-neighbor search problem. In particular, we develop an online sketching algorithm that can compress $N$ vectors into a tiny sketch consisting of small arrays of counters whose size scales as $O(N^{b}\log^2{N})$, where $b < 1$ depending on the stability of the near-neighbor search. This sketch is sufficient to identify the top-$v$ near-neighbors with high probability. To the best of our knowledge, this is the first near-neighbor search algorithm that breaks the linear memory ($O(N)$) barrier. We achieve sub-linear memory by combining advances in locality sensitive hashing (LSH) based estimation, especially the recently-published ACE algorithm, with compressed sensing and heavy hitter techniques. We provide strong theoretical guarantees; in particular, our analysis sheds new light on the memory-accuracy tradeoff in the near-neighbor search setting and the role of sparsity in compressed sensing, which could be of independent interest. We rigorously evaluate our framework, which we call RACE (Repeated ACE) data structures on a friend recommendation task on the Google plus graph with more than 100,000 high-dimensional vectors. RACE provides compression that is orders of magnitude better than the random projection based alternative, which is unsurprising given the theoretical advantage. We anticipate that RACE will enable both new theoretical perspectives on near-neighbor search and new methodologies for applications like high-speed data mining, internet-of-things (IoT), and beyond.

연구 동기 및 목표

• 스트리밍 데이터에 대한 근사 근접 이웃 검색에서 O(N) 메모리 장벽을 극복하기 위해.
• 메모리 성장률이 비선형이면서도 근접 이웃 검색 정확도를 유지하는 스케칭 프레임워크를 설계하기 위해.
• 압축 측정에서 희소성의 역할과 메모리-정확도 트레이드오프에 대한 이론적 보장을 제공하기 위해.
• IoT 및 고속 데이터 마이닝과 같은 메모리 제약 환경에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• RACE는 LSH 기반 추정을 위한 ACE 알고리즘과 압축 측정을 결합하여 고차원 벡터의 효율적 스케칭을 가능하게 한다.
• 데이터 스트림에서 가장 중요한 성분을 식별하고 추적하기 위해 헤비 히터 기법을 활용한다. 이를 통해 스케치 크기를 줄인다.
• 스케치는 크기가 O(N^b log²N)인 작은 카운터 배열을 사용하여 구성되며, 여기서 b < 1은 검색 안정성에 따라 달라진다.
• 프레임워크는 온라인 처리를 지원하여 새로운 벡터가 도착할 때마다 스케치를 점진적으로 업데이트할 수 있다.
• 데이터의 희소성과 압축 측정 복원 기법을 활용하여 최소한의 메모리로 정확도를 유지한다.
• 이론적 분석을 통해 상위 v개의 근접 이웃 복원에 대한 고확률 보장을 수립한다.

실험 결과

연구 질문

• RQ1 벡터 수에 대해 비선형 메모리 성장률을 갖는 근사 근접 이웃 검색이 가능할 수 있는가?
• RQ2 압축 측정에서의 희소성이 근접 이웃 검색의 메모리-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ3 고확률 근접 이웃 복원을 위한 스케치 크기의 이론적 한계는 무엇인가?
• RQ4 LSH 기반 추정은 압축 측정과 헤비 히터 기법과 함께 스트리밍 데이터에 효과적으로 통합될 수 있는가?

주요 결과

• RACE는 b < 1을 만족하는 O(N^b log²N)의 스케치 크기를 달성하여 엄격한 비선형 메모리 성장률을 확보하며, O(N) 메모리 장벽을 돌파한다.
• 이 프레임워크는 컴act한 스케치를 사용하여 상위 v개의 근접 이웃을 고확률로 식별할 수 있음을 보장한다.
• 10만 개 이상의 고차원 벡터를 포함하는 Google+ 그래프에서, RACE는 랜덤 프로젝션 대비 압축 비율을 수 개 차수만큼 뛰어나게 달성했다.
• 이론적 분석을 통해 압축 측정에서 희소성의 역할과 메모리-정확도 트레이드오프에 대한 새로운 통찰을 제시한다.
• RACE는 IoT 및 실시간 데이터 마이닝과 같은 메모리 제약 환경에서의 실용적 구현을 가능하게 한다.