[논문 리뷰] Scalable Analytics over Distributed Time-series Graphs using GoFFish

Yogesh Simmhan, Charith Wickramaarachchi외 6명|arXiv (Cornell University)|2014. 06. 23.

Graph Theory and Algorithms참고 문헌 16인용 수 10

한 줄 요약

이 논문은 GoFFish를 소개한다. GoFFish는 확장 가능한 시간-시리즈 그래프 처리를 위한 분산 분석 플랫폼으로, 하위 그래프 중심의 반복적 버락 동기 병렬(Iterative Bulk Synchronous Parallel, iBSP) 프로그래밍 모델과 GoFS라는 전용 분산 스토리지 시스템을 결합한다. 시간 패킹, 하위 그래프 분류, 캐싱 기법이 I/O 오버헤드를 크게 줄이고 대규모 시간-시리즈 그래프에서 성능을 향상시키며, 최적화된 iBSP SSSP 워크로드는 강한 계산 중심 동작을 보임을 입증한다.

ABSTRACT

Graphs are a key form of Big Data, and performing scalable analytics over them is invaluable to many domains. As our ability to collect data grows, there is an emerging class of inter-connected data which accumulates or varies over time, and on which novel analytics - both over the network structure and across the time-variant attribute values - is necessary. We introduce the notion of time-series graph analytics and propose Gopher, a scalable programming abstraction to develop algorithms and analytics on such datasets. Our abstraction leverages a sub-graph centric programming model and extends it to the temporal dimension using an iterative BSP (Bulk Synchronous Parallel) approach. Gopher is co-designed with GoFS, a distributed storage specialized for time-series graphs, as part of the GoFFish distributed analytics platform. We examine storage optimizations for GoFS, design patterns in Gopher to leverage the distributed data layout, and evaluate the GoFFish platform using time-series graph data and applications on a commodity cluster.

연구 동기 및 목표

• 시간-시리즈 그래프(정점 및 간선 속성이 빈번히 업데이트되지만 구조가 느리게 변화하는 데이터셋)에 대한 확장 가능한 분석의 증가하는 수요를 해결하기 위해.
• 다중 인스턴스 간의 정점 및 간선 속성 값의 시간 변화를 포함한 그래프의 구조적 특성과 시간적 변화를 모두 포괄하는 시간-시리즈 그래프 모델을 정식화하기 위해.
• 시간-시리즈 그래프의 인스턴스들에 걸쳐 반복적이고 분산된 분석을 가능하게 하는 하위 그래프 중심의 iBSP 프로그래밍 추상화인 Gopher를 설계하고 구현하기 위해.
• 시간-시리즈 그래프 레이아웃에 최적화된 분산 스토리지 시스템인 GoFS를 공동 설계하여 효율적인 I/O 및 데이터 국지성 보장을 위해.
• 실세계 워크로드(예: 시간 기반 SSSP)를 사용하여 GoFFish 플랫폼을 실증적으로 평가하고, 스토리지 및 실행 최적화로 인한 성능 향상을 입증하기 위해.

제안 방법

• 정적 템플릿이 그래프의 구조를 정의하고, 여러 인스턴스가 서로 다른 타임스탬프에서 시간에 따라 변화하는 속성 값을 저장하는 시간-시리즈 그래프 모델을 제안한다.
• 시간-시리즈 그래프 인스턴스들 간에 반복적이고 분산된 분석을 가능하게 하는 하위 그래프 중심의 iBSP 프로그래밍 추상화인 Gopher를 도입한다.
• 그래프의 구조에 따라 분할하고, 각 하위 그래프에 대해 시간-시리즈 인스턴스를 그룹화하며, 속성-값 쌍을 효율적으로 저장하는 그래프 중심 파일 시스템인 GoFS를 설계한다.
• 여러 시간 인스턴스를 동일한 디스크 슬라이스에 공유 배치함으로써 I/O 지연을 줄이고 데이터 국지성을 향상시키기 위해 시간 패킹을 적용한다.
• 관련된 하위 그래프들을 그룹화하여 분산 실행 중 I/O 작업 수를 줄이기 위해 하위 그래프 분류 기법을 적용한다.
• 자주 액세스되는 데이터를 사전 로드하기 위해 캐싱 전략을 통합하여 디스크 I/O를 최소화하고 반복 워크로드의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 정적 구조와 동적 속성 값을 동시에 가지는 시간-시리즈 그래프에 대해 확장 가능한 분산 분석 프로그래밍 모델을 어떻게 설계할 수 있는가?
• RQ2 일반 클러스터에서 시간-시리즈 그래프 워크로드의 I/O 오버헤드를 줄이기 위해 가장 효과적인 스토리지 최적화는 무엇인가?
• RQ3 시간 패킹, 하위 그래프 분류, 캐싱이 반복적 그래프 분석에서 성능 향상에 어떻게 상호작용하는가?
• RQ4 하위 그래프 중심 실행 방식을 적용한 iBSP 모델이 시간-시리즈 데이터에서 기존 그래프 처리 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ5 실세계 워크로드(예: 시간 기반 SSSP)에서 스토리지 레이아웃 최적화와 분산 실행 최적화를 결합했을 때 성능에 어떤 영향을 미치는가?

주요 결과

• 하나의 슬라이스에 20개의 인스턴스를 패킹한 경우, 80개 이상의 인스턴스를 가진 하위 그래프에서 비패킹 대비 성능 향상이 뚜렷하여 패킹이 유리한 성능 전환점이 존재함을 시사한다.
• 20개의 빈도로 하위 그래프 분류를 적용한 경우, 40개의 빈도보다 성능 향상이 뚜렷하며, 특히 시간 패킹 및 캐싱과 조합했을 때 더욱 두드러진다.
• 캐싱은 I/O 오버헤드를 크게 줄이며, 캐시 버전(s20-i20-c14)이 비캐시 버전(s20-i20-c0) 대비 거의 3배 높은 성능을 기록한다.
• iBSP SSSP 구현은 I/O 중심에서 계산 중심으로 전환되며, 이는 스토리지 최적화가 효과적으로 I/O 지연을 숨겼음을 의미한다.
• 시간 패킹, 하위 그래프 분류, 캐싱의 조합이 가장 뛰어난 성능을 내며, 최적 설정에서 읽는 디스크 슬라이스 누적 수가 크게 감소한다.
• GoFFish 플랫폼은 Gopher 및 GoFS와 같은 스토리지 인식 프로그래밍 추상화를 통해 데이터 국지성을 효과적으로 활용하고 I/O를 줄이며, 효율적인 대규모 시간-시리즈 그래프 분석을 가능하게 한다.