[논문 리뷰] Efficient SimRank Computation via Linearization

Takanori Maehara, Mitsuru Kusumoto외 1명|arXiv (Cornell University)|2014. 11. 26.

Web Data Mining and Analysis참고 문헌 40인용 수 16

한 줄 요약

이 논문은 효율적인 SimRank 계산을 위한 새로운 선형화 기법을 제안하며, 재귀적 SimRank 문제를 반복 방법으로 해결할 수 있는 선형 시스템으로 변환한다. 가우스-서스웰 리듬 및 스 tochastic thresholding을 활용하여 단일 쌍, 단일 소스, 모든 쌍 SimRank 계산을 가속화하며, web-Google 및 soc-Epinions1과 같은 큰 그래프에서 실행 시간을 최대 10배 감소시키고 메모리 사용량을 최대 50% 감소시킨다.

ABSTRACT

SimRank, proposed by Jeh and Widom, provides a good similarity measure that has been successfully used in numerous applications. While there are many algorithms proposed for computing SimRank, their computational costs are very high. In this paper, we propose a new computational technique, "SimRank linearization," for computing SimRank, which converts the SimRank problem to a linear equation problem. By using this technique, we can solve many SimRank problems, such as single-pair compuation, single-source computation, all-pairs computation, top k searching, and similarity join problems, efficiently.

연구 동기 및 목표

• 대규모 그래프에서 기존 SimRank 계산의 높은 계산 비용을 해결한다.
• 단일 쌍, 단일 소스, 모든 쌍, 상위-k, 유사도 조인을 포함한 다양한 쿼리 유형에 대한 SimRank 계산을 효율적으로 가능하게 한다.
• 십억 개의 간선을 가진 실제 그래프에 적합한 확장 가능하고 정확한 알고리즘을 개발한다.
• 스토캐스틱 스위치 기반 최적화 기법과 적응형 몬테카를로 샘플링을 통해 메모리 소비와 실행 시간을 감소시킨다.

제안 방법

• SimRank의 행렬 표현을 활용하여 재귀적 SimRank 수식을 선형 시스템으로 변환한다.
• 가우스-서스웰 리듬을 적용하여 계산 오버헤드를 줄이며 선형 시스템을 반복적으로 해결한다.
• 낮은 영향도 업데이트를 동적으로 제거하기 위해 스 tochastic thresholding을 도입하여 정확도를 유지하면서 메모리 사용량을 감소시킨다.
• 후보 쌍에 대한 불필요한 계산을 최소화하기 위해 검증 단계에서 적응형 몬테카를로 샘플링을 사용한다.
• SimRank의 제곱 그래프 해석을 활용하여 레이블 전파 또는 랜덤 워크 프로세스로 모델링한다.
• 수학적 분석과 알고리즘 최적화를 융합하여 파rameter 조정 하에 수렴성과 정확도를 보장한다.

실험 결과

연구 질문

• RQ1 SimRank 계산이 선형 시스템으로 재구성될 수 있는가? 이는 더 빠르고 확장 가능한 해결책을 가능하게 하는가?
• RQ2 가우스-서스웰 리듬과 스 tochastic thresholding이 대규모 그래프에서 시간 및 메모리 비용을 얼마나 효과적으로 줄이는가?
• RQ3 적응형 몬테카를로 샘플링은 SimRank 점수 검증에서 효율성을 얼마나 향상시키는가?
• RQ4 이전에 추측된 바와 같이, SimRank > 0.001인 유사 쌍의 수가 실제 네트워크에서 멱법 분포를 따르는가?
• RQ5 대규모 데이터셋에서 기존 SimRank 알고리즘과 비교해 본 결과, 제안된 방법은 성능과 정확도에서 어떤가?

주요 결과

• 제안된 알고리즘은 web-Google 및 soc-Epinions1와 같은 대규모 그래프에서 이전 방법 대비 실행 시간을 최대 10배 감소시키고 메모리 사용량을 최대 50% 감소시킨다.
• 가우스-서스웰 리듬에서 γ ≥ 0.9를 사용할 경우 정확도는 향상되지만 계산 시간은 5배, 메모리 사용량은 10배 증가하므로, 확장 가능한 구현에 있어 γ = 0만으로도 충분하다.
• 스 tochastic thresholding은 일부 그래프에서 메모리 사용량을 최대 50% 감소시키며, β = 100일 경우 β = ∞와 거의 동일한 결과를 도출한다.
• 적응형 몬테카를로 샘플링은 평균 계산 비용을 약 1/3 감소시킨다. 이는 1/3의 후보 쌍이 1,000개 이상의 샘플이 필요하기 때문이다.
• SimRank > 0.001인 유사 쌍의 수는 모든 테스트 데이터셋에서 멱법 분포를 따르며, Cai 등이 제기한 추측을 더 큰 네트워크에서 확인한다.
• 이 방법은 web-Google(11M 정점, 151GB 메모리) 및 cit-patent(209K 정점, 3.6GB)와 같이 수천만 개의 정점과 수억 개의 간선을 가진 그래프에 대해 효과적으로 확장 가능하다.