[논문 리뷰] SWOOP: Top-k Similarity Joins over Set Streams

Willi Mann, Nikolaus Augsten외 1명|arXiv (Cornell University)|2017. 11. 07.

Data Management and Algorithms참고 문헌 23인용 수 6

한 줄 요약

SWOOP는 스트리밍 세트에 대한 연속적인 상위-k 유사도 조인을 슬라이딩 윈도우 모델을 사용하여 매우 확장 가능한 알고리즘을 도입한다. 새로운 색인 기법과 점진적 가지치기를 통해 후보 쌍의 증명 가능 최소 수를 유지함으로써, 기존의 SCase와 같은 방법보다 최대 세 개의 지수 차수 높은 처리량을 달성한다.

ABSTRACT

We provide efficient support for applications that aim to continuously find pairs of similar sets in rapid streams of sets. A prototypical example setting is that of tweets. A tweet is a set of words, and Twitter emits about half a billion tweets per day. Our solution makes it possible to efficiently maintain the top-$k$ most similar tweets from a pair of rapid Twitter streams, e.g., to discover similar trends in two cities if the streams concern cities. Using a sliding window model, the top-$k$ result changes as new sets in the stream enter the window or existing ones leave the window. Maintaining the top-$k$ result under rapid streams is challenging. First, when a set arrives, it may form a new pair for the top-$k$ result with any set already in the window. Second, when a set leaves the window, all its pairings in the top-$k$ are invalidated and must be replaced. It is not enough to maintain the $k$ most similar pairs, as less similar pairs may eventually be promoted to the top-$k$ result. A straightforward solution that pairs every new set with all sets in the window and keeps all pairs for maintaining the top-$k$ result is memory intensive and too slow. We propose SWOOP, a highly scalable stream join algorithm that solves these issues. Novel indexing techniques and sophisticated filters efficiently prune useless pairs as new sets enter the window. SWOOP incrementally maintains a stock of similar pairs to update the top-$k$ result at any time, and the stock is shown to be minimal. Our experiments confirm that SWOOP can deal with stream rates that are orders of magnitude faster than the rates of existing approaches.

연구 동기 및 목표

• 신속하게 도착하고 오래된 세트가 지속적으로 만료되는 고속도의 데이터 스트림 환경에서 정확하고 최신 상태의 상위-k 유사도 세트 쌍을 유지하는 데 도전한다.
• 동적 슬라이딩 윈도우 환경에 적용될 때 기존의 정적 또는 배치 기반 상위-k 유사도 조인 알고리즘의 확장성 한계를 극복한다.
• 각 윈도우 업데이트 후 전체 상위-k 결과를 다시 계산하지 않고도 효율적이고 점진적인 알고리즘을 설계하여 저지연 응답을 보장한다.
• 고정 임계값에 의존하지 않고 임의의 잘 정의된 유사도 함수를 지원함으로써 실시간 스트림에서의 민감하고 정확한 유사도 탐지가 가능하도록 한다.
• 후보 쌍의 증명 가능한 최소 수만 유지함으로써 메모리 사용량을 최소화하여 고속 스트림 환경에서 자원 효율성을 확보한다.

제안 방법

• 지속 시간 w의 시간 윈도우 내에 있는 세트들만 고려하는 슬라이딩 윈도우 모델을 활용하여 유사도 쌍의 시간적 관련성을 보장한다.
• 새로운 세트가 도착할 때 후보 쌍을 신속하게 식별할 수 있도록 토큰 기반 포스트 리스트 기반의 새로운 색인 구조를 도입한다. 이는 빠른 유사도 가지치기를 가능하게 한다.
• 유사도 범위를 사용하여 비효율적인 후보를 가지치하고 만료된 쌍을 동적으로 교체함으로써 점진적 업데이트를 적용하여 후보 쌍의 최소 수를 유지한다.
• 정의된 잘 정의된 유사도 함수를 사용하여 상위-k 결과의 정확성과 완전성에 대한 이론적 보장을 확보한다.
• 두 가지 핵심 데이터 구조를 유지한다: 상위-k 액세스를 효율적으로 하기 위한 유사도 기반 정렬 구조와, 후보 쌍 수명 주기를 관리하기 위한 만료 시간 기반 정렬 구조.
• 상위-k 환경에 적합하게 수정된 프리픽스 필터 유사 메커니즘을 통합하여 고정 임계값에 의존하지 않고도 낮은 유사도 쌍을 조기에 가지치기할 수 있다.

실험 결과

연구 질문

• RQ1 고속도의 세트 스트림에서 빈번한 삽입과 만료가 발생하는 환경에서 효율적으로 확장 가능한 상위-k 유사도 조인 알고리즘을 설계할 수 있는가?
• RQ2 새로운 세트가 윈도우에 도착하고 기존 세트가 만료될 때, 기존 상위-k 결과가 무효화될 수 있는 상황에서 알고리즘이 정확성과 저지연성을 유지할 수 있는가?
• RQ3 각 윈도우 업데이트 후 전체 조인을 다시 계산하지 않더라도 효율적인 후보 생성이 가능한 색인 및 가지치기 전략은 무엇인가?
• RQ4 상위-k 결과의 정확성을 보장하면서도 유지되는 후보 쌍의 크기를 어느 정도까지 최소화할 수 있는가?
• RQ5 최신 기술 기반의 접근 방식인 SCase 및 배치 기반 상위-k 조인과 비교했을 때 제안된 알고리즘의 성능과 메모리 효율성은 어떠한가?

주요 결과

• SWOOP는 SCase 기준 대비 최대 세 개의 지수 차수 높은 스트림 처리 처리량을 달성하여 뛰어난 확장성을 입증한다.
• SWOOP의 최대 후보 쌍 수는 k와 윈도우 크기와 함께 느리게 증가하며, k=10일 때는 1.5×10², k=1000일 때는 6×10³에 불과하여 이론적 최악의 경우에 비해 크게 낮다.
• 실험 결과는 후보 쌍 수가 점 渐차적 행동 O(k·log(∣W∣/k))를 따르며, 효율성에 대한 이론적 분석을 확인한다.
• 새로운 세트가 이전에 알려진 것보다 더 유사한 쌍을 형성하더라도, 전체 재계산 없이 점진적 업데이트를 통해 정확성을 유지한다.
• 모든 평가된 워크로드에서 SWOOP는 SCase와 단순 재처리 기반 베이스라인 모두를 앞서며, 특히 고속 스트림 환경에서 성능 향상이 두드러진다.
• 동적 워크로드에 대해 강건하며, 빈번한 윈도우 업데이트와 쌍의 만료를 점진적 후보 쌍 유지 기법을 통해 효율적으로 처리한다.