[논문 리뷰] Systems for Near Real-Time Analysis of Large-Scale Dynamic Graphs

Luis M. Vaquero, Félix Cuadrado외 1명|arXiv (Cornell University)|2014. 10. 07.

Graph Theory and Algorithms참고 문헌 61인용 수 10

한 줄 요약

이 논문은 동적 그래프(구조와 데이터가 지속적으로 변화하는 그래프)를 처리하기 위해 설계된 대규모 실시간 그래프 처리 시스템을 조사한다. 스트리밍, 복제, 동적 로드 밸런싱과 같은 핵심 기법을 식별하고, 바이트 데이터 스케일, 실시간 성능, 변화에 대한 적응성의 세 가지 목표 중에서 시스템이 동시에 달성할 수 있는 것은 최대 두 가지라는 BAR 추측을 제안한다.

ABSTRACT

Graphs are widespread data structures used to model a wide variety of problems. The sheer amount of data to be processed has prompted the creation of a myriad of systems that help us cope with massive scale graphs. The pressure to deliver fast responses to queries on the graph is higher than ever before, as it is demanded by many applications (e.g. online recommendations, auctions, terrorism protection, etc.). In addition, graphs change continuously (so do the real world entities that typically represent). Systems must be ready for both: near real-time and dynamic massive graphs. We survey systems taking their scalability, real-time potential and capability to support dynamic changes to the graph as driving guidelines. The main techniques and limitations are distilled and categorised. The algorithms run on top of graph systems are not ready for prime time dynamism either. Therefore,a short overview on dynamic graph algorithms has also been included.

연구 동기 및 목표

• 대규모 실시간 그래프 처리 시스템에서 동적 그래프를 처리하는 데 있어 최신 기술 동향을 분석하기 위해.
• 지속적인 그래프 업데이트(구조 및 데이터 변경) 상황에서 저지연 응답을 유지하는 데 있어 핵심 과제를 규명하기 위해.
• 확장성, 실시간 성능, 동적 변화에 대한 적응성 간의 시스템 설계 상호 교환 관계를 평가하기 위해.
• 런타임 동적성 지원을 위한 기존 그래프 알고리즘의 한계를 부각하고, 증분 계산 또는 근사 계산이 필요한 이유를 제시하기 위해.
• BAR 추측을 제안하여 그래프 시스템에서 바이트 데이터 스케일, 실시간 응답, 변화에 대한 적응성 간의 근본적인 상충 관계가 존재한다고 주장하기 위해.

제안 방법

• 배포 방식(중앙집중식 대비 분산식), 스토리지 방식(디스크 대비 메모리 기반), 데이터 액세스 패턴에 따라 그래프 처리 시스템을 분류하기 위해.
• 해시 기반 파artitioning과 같은 파artition 전략 분석 및 로드 밸런싱과 통신 오버헤드에 미치는 영향 평가하기 위해.
• 장기 실행 쿼리에 적합한 동적 리파artitioning 및 단기 실행, 고용량 쿼리에 적합한 복제 기법을 포함한 동적 적응 기법 조사하기 위해.
• 그래프 업데이트를 점진적으로 수신하는 스트리밍 기반 접근 방식을 통한 실시간 처리 평가하기 위해.
• 메모리 기반 처리, 로드 밸런싱, 캐싱과 같은 시스템 수준 최적화 기법을 평가하여 지연 감소 효과 분석하기 위해.
• 사용성 향상과 동시 다중 테넌트 워크로드 지원을 위해 도메인 특화 언어 및 쿼리 인터페이스(예: SQL 유사, 기능형)의 역할 분석하기 위해.

실험 결과

연구 질문

• RQ1 대규모 동적 그래프의 실시간 분석을 지원하는 시스템을 구축하는 데 있어 핵심 아키텍처적 및 알고리즘적 과제는 무엇인가?
• RQ2 메모리 기반 대비 디스크 기반, 중앙집중식 대비 분산식 등의 다양한 시스템 설계가 실시간 성능 및 적응성에 어떤 영향을 미치는가?
• RQ3 정점/간선 추가 또는 속성 업데이트와 같은 동적 그래프 변화를 처리하는 데 가장 효과적인 기법은 무엇인가? 성능 저하 없이 수행 가능한가?
• RQ4 기존 그래프 알고리즘이 동적 조건 하에서 증분 또는 근사 계산을 위해 얼마나 잘 적응할 수 있는가?
• RQ5 그래프 처리 시스템에서 확장성, 실시간 응답, 적응성 간의 근본적인 상충 관계는 무엇인가?

주요 결과

• 대규모 동적 그래프에서 실시간 응답을 제공할 수 있는 시스템은 소수에 불과하며, 주로 디스크 I/O로 인한 높은 지연과 열악한 로드 밸런싱이 원인이다.
• 메모리 기반 분산 시스템인 GraphX, G-CORE 등은 디스크 접근을 피함으로써 낮은 지연을 달성하지만, 여전히 동적 워크로드에서 과제에 직면해 있다.
• 장기 실행 쿼리에 대해 동적 리파artitioning은 대규모 그래프 영역에서 효과적이지만, 높은 통신 및 조율 비용을 수반한다.
• 단기 실행, 고용량 쿼리에 대해서는 복제가 더 적합하며, 저장소 증가 및 일관성 관리 비용을 감수함으로써 저지연 액세스를 가능하게 한다.
• BAR 추측은 시스템이 바이트 데이터 스케일, 실시간 성능, 동적 변화에 대한 완전한 적응성을 동시에 달성할 수 없다고 주장한다.
• 기존 그래프 알고리즘은 동적성에 대응하기 위해 생산 환경에서 사용하기에 준비되지 않았으며, 이론적 능력과 실세계 요구사항 간 격차를 메우기 위해 증분 및 근사 알고리즘이 필요하다.