[논문 리뷰] When Hashes Met Wedges: A Distributed Algorithm for Finding High Similarity Vectors

Aneesh Sharma, C. Seshadhri외 1명|arXiv (Cornell University)|2017. 03. 03.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 4

한 줄 요약

WHIMP는 유향 샘플링과 SimHash를 조합하여 대규모 네트워크에서 높은余弦유사도를 가진 벡터 쌍을 효율적으로 찾는 분산 알고리즘이다. 이는 낮은 임계값(예: τ=0.2)에서도 확장 가능한 유사도 검색을 가능하게 하며, 거의 최적의 통신 비용을 달성하고, 심지어 수십십억 개의 간선을 가진 그래프, 예를 들어 전체 트위터 네트워크에서도 유사한 사용자 쌍을 정확하게 식별한다.

ABSTRACT

Finding similar user pairs is a fundamental task in social networks, with numerous applications in ranking and personalization tasks such as link prediction and tie strength detection. A common manifestation of user similarity is based upon network structure: each user is represented by a vector that represents the user's network connections, where pairwise cosine similarity among these vectors defines user similarity. The predominant task for user similarity applications is to discover all similar pairs that have a pairwise cosine similarity value larger than a given threshold $τ$. In contrast to previous work where $τ$ is assumed to be quite close to 1, we focus on recommendation applications where $τ$ is small, but still meaningful. The all pairs cosine similarity problem is computationally challenging on networks with billions of edges, and especially so for settings with small $τ$. To the best of our knowledge, there is no practical solution for computing all user pairs with, say $τ= 0.2$ on large social networks, even using the power of distributed algorithms. Our work directly addresses this challenge by introducing a new algorithm --- WHIMP --- that solves this problem efficiently in the MapReduce model. The key insight in WHIMP is to combine the "wedge-sampling" approach of Cohen-Lewis for approximate matrix multiplication with the SimHash random projection techniques of Charikar. We provide a theoretical analysis of WHIMP, proving that it has near optimal communication costs while maintaining computation cost comparable with the state of the art. We also empirically demonstrate WHIMP's scalability by computing all highly similar pairs on four massive data sets, and show that it accurately finds high similarity pairs. In particular, we note that WHIMP successfully processes the entire Twitter network, which has tens of billions of edges.

연구 동기 및 목표

• 낮은 유사도 임계값(예: τ=0.2)에서도 의미 있는 유사도를 가지는 대규모 사회적 네트워크에서 모든 쌍의 코사인 유사도를 계산하는 데 발생하는 확장성 문제를 해결하기 위해.
• 해당 유사도 기준을 만족하는 모든 사용자 쌍을 히وري스틱스나 높은 메모리 오버헤드에 의존하지 않고 효율적으로 발견할 수 있는 실용적인 분산 알고리즘을 설계하기 위해.
• 정밀도와 재현율을 유지하면서도 MapReduce 모델에서 통신 및 계산 비용을 줄이기 위해.
• 실제 세계의 네트워크, 예를 들어 전체 트위터 그래프와 같이 수십십억 개의 간선을 가진 네트워크에서 확장 가능한 유사도 검색을 가능하게 하기 위해.

제안 방법

• Cohen-Lewis의 유향 샘플링과 Charikar의 SimHash를 조합하여 높은 유사도를 가진 벡터 쌍을 효율적으로 추정한다.
• 각 벡터당 하나의 SimHash 스키치를 사용하여 후보 쌍을 생성함으로써, 다중 라운드 샘플링이 필요로 하는 것을 줄인다.
• 이중 단계 프로세스를 사용한다: 첫 번째 단계에서 유향 샘플링이 후보 쌍을 생성하고, 두 번째 단계에서 SimHash가 높은 유사도 매칭을 필터링하고 확인한다.
• 집중도를 확보하고 정밀도/재현율 > 0.8를 달성하기 위해 유향 샘플 수 s = 50/τ로 설정한다.
• 각 유향 샘플이 한 번만 처리되고 SimHash 조건을 만족할 경우에만 출력되므로, 중복 계산을 최소화한다.
• 셔플 비용을 두 단계에 균등하게 분배하여, 기존의 유향 샘플링 대비 총 통신 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 대규모 네트워크에서 낮은 τ(예: 0.2)일 경우에도 모든 벡터 쌍의 코사인 유사도 ≥ τ를 효율적으로 계산할 수 있는 분산 알고리즘이 존재하는가?
• RQ2 유향 샘플링과 SimHash를 어떻게 조합하여 유사도 검색에서 통신 및 계산 비용을 줄일 수 있는가?
• RQ3 제안된 방법의 이론적 통신 비용은 얼마이며, 기존 방법과 비교해 볼 때 어떠한가?
• RQ4 이 알고리즘은 전체 트위터 그래프와 같이 수십십억 개의 간선을 가진 실세계 네트워크로 확장 가능한가?
• RQ5 실제로 낮은 유사도 임계값에서 정밀도와 재현율 측면에서 이 방법의 정확도는 어떠한가?

주요 결과

• WHIMP는 수십십억 개의 간선을 포함하는 전체 트위터 네트워크를 성공적으로 처리하여 대규모에서의 확장성을 입증했다.
• τ = 0.2일 경우, s = 50/τ 유향 샘플을 사용하여 정밀도와 재현율이 0.8 이상을 달성하였으며, 낮은 유사도 임계값에서도 강건함을 확인했다.
• 알고리즘은 셔플 비용을 약 160 × ||A^T A||_1 / τ로 줄였으며, 이는 특히 낮은 τ에서 기존의 유향 샘플링보다 크게 낮은 비용을 기록한다.
• 실험 결과 WHIMP는 대부분의 사용자들에 대해 0.2 유사도를 가진 사용자 쌍의 70퍼센트 이상을 신뢰성 있게 발견한다.
• 트위터에서의 사례 연구 결과, 알고리즘은 회의 계정, 연구자, 고유명사 등 이해할 수 있고 의미 있는 유사 사용자를 회수한다.
• τ=0.2일 때 LSH 기반 접근법의 스토리지 요구량은 10억 명의 사용자 기준 약 26,000 TB로 추정되며, 이는 실현 가능하지 않다. 이는 WHIMP의 실용적 우수성을 강조한다.