[논문 리뷰] Slim Graph: Practical Lossy Graph Compression for Approximate Graph Processing, Storage, and Analytics

Maciej Besta, Simon Weber외 5명|arXiv (Cornell University)|2019. 12. 18.

Graph Theory and Algorithms참고 문헌 189인용 수 5

한 줄 요약

Slim Graph는 실용적인 손실 그래프 압축을 위한 새로운 프로그래밍 모델과 프레임워크를 소개하며, 고성능 근사 그래프 처리, 저장소 감소 및 정확한 분석을 가능하게 한다. 이는 국소 그래프 구조를 수정하는 프로그래머블 압축 커널을 사용하여 연결 성분과 스펙트럼과 같은 핵심 성질을 유지하면서도, 정확도를 측정하기 위해 통계적 발산을 활용한다. 이로 인해 실제 그래프에서 높은 정밀도를 유지하면서도 빠른 속도 향상과 저장소 감소를 달성한다.

ABSTRACT

We propose Slim Graph: the first programming model and framework for practical lossy graph compression that facilitates high-performance approximate graph processing, storage, and analytics. Slim Graph enables the developer to express numerous compression schemes using small and programmable compression kernels that can access and modify local parts of input graphs. Such kernels are executed in parallel by the underlying engine, isolating developers from complexities of parallel programming. Our kernels implement novel graph compression schemes that preserve numerous graph properties, for example connected components, minimum spanning trees, or graph spectra. Finally, Slim Graph uses statistical divergences and other metrics to analyze the accuracy of lossy graph compression. We illustrate both theoretically and empirically that Slim Graph accelerates numerous graph algorithms, reduces storage used by graph datasets, and ensures high accuracy of results. Slim Graph may become the common ground for developing, executing, and analyzing emerging lossy graph compression schemes.

연구 동기 및 목표

• 트리리언 엣지 데이터셋과 같은 거대한 그래프를 저장하고 처리하는 데 증가하는 도전에 대응하기 위해, 성능 및 저장소 최적화를 위한 손실 압축을 가능하게 한다.
• 이론적 저장소 한계에 가까워질수록 수익 감소와 높은 복구 비용을 겪는 손실 없는 압축의 한계를 극복한다.
• 개발자가 저수준 병렬 프로그래밍 없이도 새로운 손실 압축 기법을 구현하고 평가할 수 있도록 실용적이고 확장 가능한 프레임워크를 제공한다.
• 다양한 그래프 성질을 기반으로 한 정보 손실 평가를 위한 엄밀한 메트릭을 정의함으로써 근사 그래프 분석의 높은 정확도를 확보한다.
• 다양한 워크로드와 그래프 유형에서 손실 그래프 압축 방법의 설계, 실행 및 분석을 위한 통합 플랫폼을 구축한다.

제안 방법

• 국소 그래프 구조(예: 간선, 삼각형 등)에서 작동하는 작은, 조합 가능한 함수인 '압축 커널'을 중심으로 한 프로그래밍 모델을 도입한다.
• 개발자가 저수준 병렬 처리에 대한 고려를 피할 수 있도록, 커널의 병렬 실행을 관리하는 런타임 엔진을 활용한다.
• 정보 손실을 정량화하기 위해 통계적 발산(예: 칼리브-라이블러 발산)을 사용하여 확률적 그래프 성질의 정확도 평가를 객관적으로 가능하게 한다.
• 이전 방법을 일반화하는 새로운 압축 기법인 삼각형 감소(TR)를 적용한다. 이는 최대 기수 매칭과 같은 핵심 성질을 유지한다.
• 스펙트럼, 최단 경로, 스패닝 트리, 연결 성분 등 다양한 그래프 성질을 유지 대상으로 지원한다.
• 이론적 분석을 통해 보존된 성질에 대한 경계를 유도함으로써(예: TR 이후 최대 기수 매칭 크기는 원본의 최소 50% 이상) 알고리즘 정밀도에 대한 공식적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 손실 그래프 압축을 개발자에게 실용적이고 조합 가능하게 만들 수 있는가? 저수준 병렬 프로그래밍의 복잡성을 피할 수 있는가?
• RQ2 시각적 유사성 외에 효과적이고 측정 가능한 기준은 무엇인가? 손실 그래프 압축의 정확도를 평가하기 위해 사용할 수 있는가?
• RQ3 손실 압축이 연결 성분, 최단 경로, 스펙트럼 특성과 같은 핵심 그래프 성질을 유지할 수 있는가?
• RQ4 결과 정밀도를 희생시키지 않고 손실 압축이 그래프 크기를 얼마나 줄이고 그래프 알고리즘의 속도를 얼마나 향상시킬 수 있는가?
• RQ5 다양한 그래프 워크로드에서 새로운 손실 압축 기법의 개발, 평가 및 확장에 통합 프레임워크가 어떻게 기여할 수 있는가?

주요 결과

• Slim Graph는 연결 성분과 최소 스패닝 트리와 같은 핵심 그래프 성질을 유지하면서도 그래프 크기를 최대 80%까지 감소시킨다.
• PageRank 및 SSSP와 같은 그래프 알고리즘에서 압축된 그래프에서 최대 3.5배의 속도 향상을 달성했으며, 결과 정밀도 손실은 최소한이다.
• Slim Graph에 구현된 새로운 압축 방법인 삼각형 감소(TR)는 압축된 그래프에서 최대 기수 매칭(MCM) 크기가 원본 MCM의 최소 50% 이상이 되도록 보장한다.
• 칼리브-라이블러 발산과 같은 통계적 발산은 확률적 성질에서의 정보 손실을 효과적으로 정량화하며, 정밀한 정확도 평가를 가능하게 한다.
• Slim Graph는 Sogou 웹그래프와 같은 가장 큰 공개 그래프에 대한 분산 손실 압축을 지원하여 확장성과 실제 적용 가능성을 입증한다.
• 이론적 분석을 통해 다양한 압축 기법에 대해 50개 이상의 보존된 성질에 대한 경계를 도출하였으며, 알고리즘 정밀도에 대한 공식적 보장을 제공한다.