[논문 리뷰] Divide and Conquer: Partitioning Online Social Networks

Josep M. Pujol, Vijay Erramilli외 1명|ArXiv.org|2009. 05. 29.

Peer-to-Peer Network Technologies참고 문헌 21인용 수 49

한 줄 요약

이 논문은 온라인 소셜 네트워크를 위한 커뮤니티 인식 파artitioning 기법 MO+를 제안하며, 사회적 커뮤니티 구조를 활용하여 로드 밸런싱을 향상시키고 파artition 간 통신을 줄인다. 트위터와 옥투트의 실재 데이터를 사용하여, MO+가 무작위 및 전통적인 그래프 파artitioning(예: METIS)보다 파artition 수가 많아질수록 트래픽 밸런싱과 사회적 연결을 더 잘 유지하는 것으로 나타났다.

ABSTRACT

Online Social Networks (OSNs) have exploded in terms of scale and scope over the last few years. The unprecedented growth of these networks present challenges in terms of system design and maintenance. One way to cope with this is by partitioning such large networks and assigning these partitions to different machines. However, social networks possess unique properties that make the partitioning problem non-trivial. The main contribution of this paper is to understand different properties of social networks and how these properties can guide the choice of a partitioning algorithm. Using large scale measurements representing real OSNs, we first characterize different properties of social networks, and then we evaluate qualitatively different partitioning methods that cover the design space. We expose different trade-offs involved and understand them in light of properties of social networks. We show that a judicious choice of a partitioning scheme can help improve performance.

연구 동기 및 목표

• 사회적 네트워크 특성, 예를 들어 커뮤니티 구조, 지리적 국소성, 비균형적인 트래픽 패턴이 파artitioning 설계에 미치는 영향를 이해하는 것.
• 대규모 OSN에서 파artition 간 통신을 최소화하고 파artition 간 로드를 균형 있게 유지하는 데서 발생하는 상충 관계를 평가하는 것.
• 로드를 균형 있게 분배하면서도 사회적 관계를 유지하고 네트워크 오버헤드를 줄이는 파artitioning 기법을 설계하고 검증하는 것.
• 기존 그래프 파artitioning(예: METIS)과 커뮤니티 기반 방법을 비교하고, 불균형한 파artition 크기 등의 한계를 보완하기 위해 향상된 알고리즘(MO+)을 제안하는 것.

제안 방법

• 도로, 트위터(17억 개 메시지) 등의 실세계 데이터셋을 사용하여 차수 분포, 지리적 국소성, 대화 링크 등을 포함한 네트워크 특성을 분석한다.
• 노드 수를 균형 있게 유지하면서 엣지 컷 수를 최소화하는 기반으로 METIS를 사용하여 전통적인 그래프 파artitioning을 수행한다.
• 모듈래리티 최적화 기반의 커뮤니티 탐지 알고리즘을 적용하여 자연스러운 사회적 커뮤니티를 식별한다.
• 파artition 수와 크기를 제어할 수 있도록 커뮤니티 수 및 크기를 조절하는 후처리 기법인 MO+를 제안한다.
• 파artition 간 트래픽(메시지 수), 파artition 내 메시지 수, 파artition 내 대화(사회적 링크) 수, 피크 로드 분포를 측정하여 파artition링 기법을 평가한다.
• CCDF(누적분포함수)를 사용하여 트윗 도착률을 분석함으로써, 파artition 수를 8, 32, 128로 변화시킬 때 성능을 평가한다.

실험 결과

연구 질문

• RQ1 커뮤니티 구조, 지리적 국소성, 비균형적인 트래픽 패턴과 같은 소셜 네트워크 특성이 파artitioning 알고리즘 설계에 어떤 영향을 미치는가?
• RQ2 OSN에서 파artition 간 통신을 최소화하는 것과 파artition 간 로드를 균형 있게 유지하는 것 사이의 상충 관계는 어떠한가?
• RQ3 기존 그래프 파artitioning 방법(예: METIS)과 커뮤니티 기반 파artitioning 간의 트래픽 감소 및 로드 밸런싱 성능를 비교하면 어떻게 되는가?
• RQ4 크기 제어 기능이 있는 모듈래리티 기반 파artitioning 기법(MO+)이 랜덤 및 표준 파artitioning보다 사회적 링크 유지 및 네트워크 오버헤드 감소에 얼마나 효과적인가?
• RQ5 파artition 수가 증가함에 따라 파artition링 기법의 성능은 어떻게 변화하는가?

주요 결과

• MO+는 파artition 수가 많아질수록 METIS나 랜덤 파artitioning보다 더 효과적으로 파artition 간 트래픽을 줄였다.
• 256개의 파artition에서도 MO+는 대화 링크의 50% 이상을 유지하여 사회적 구조의 강력한 보존을 보였다.
• 128개 파artition에서 MO+는 파artition 당 99.99% 퍼센타일 피크 로드를 분당 35건으로 줄였으며, GP는 28건, Random은 21건이었고, 이는 경쟁적인 로드 밸런싱 성능을 보였다.
• 파artition 수가 128개일 때, MO+를 사용하면 파artition 당 99.99% 퍼센타일 피크 로드가 951건/분(파artition 없음)에서 28건/분으로 감소하여 자원 확보 필요성을 크게 줄였다.
• 기존 그래프 파artitioning(METIS)은 트래픽 감소 효과는 있으나, MO+에 비해 로드 밸런싱과 사회적 링크 보존 측면에서 열등했다.
• 커뮤니티 인식 파artitioning과 후처리(MO+)의 조합은 무작위 또는 표준 파artitioning 방법보다 트래픽 감소와 로드 밸런싱 사이의 균형을 더 잘 달성했다.