[논문 리뷰] A Survey on Methods and Systems for Graph Compression

Sebastian Maneth, Fabian Peternek|arXiv (Cornell University)|2015. 04. 02.

Graph Theory and Algorithms참고 문헌 34인용 수 20

한 줄 요약

이 종합 검토는 대규모 그래프에 적합한 압축 기법으로 손실 없는 기법과 손실 있는 기법, 요약 표현, 구조적 압축, I/O 효율적인 방법을 중심으로 포괄적인 개요를 제공한다. 압축 비율, 쿼리 지원(예: 도달 가능성, 인접성) 및 실제 및 합성 그래프에서의 성능을 평가하며, 큰 방향성 그래프에서 도달 가능성 쿼리에 대해 최신 기술인 PReaCH의 성능을 강조한다.

ABSTRACT

We present an informal survey (meant to accompany another paper) on graph compression methods. We focus on lossless methods, briefly list available pproaches, and compare them where possible or give some indicators on their compression ratios. We also mention some relevant results from the field of lossy compression and algorithms specialized for the use on large graphs. --- Note: The comparison is by no means complete. This document is a first draft and will be updated and extended.

연구 동기 및 목표

• 손실 그래프 압축 기법, 특히 요약 및 구조적 접근 방식을 포함한 기존 기법을 조사하고 비교하는 것.
• 비트당 간선 수(bpe) 및 효율적인 그래프 쿼리 지원 측면에서 압축 기법의 효과성을 평가하는 것.
• 외부 메모리 및 I/O 효율적인 그래프 처리에 최적화된 시스템을 검토하며, 특히 대규모 그래프에 초점을 맞추는 것.
• 그래프 표현에서 압축 비율, 쿼리 성능, 사전 처리 오버헤드 간의 주요 상충 관계를 규명하는 것.
• 특히 도달 가능성 쿼리에 대해 최신 기술인 PReaCH와 같은 시스템을 강조하고, 실제 세계의 그래프에서의 성능을 분석하는 것.

제안 방법

• 그래프 압축을 정보 이론적 한계 내에서 압축하고 o(n) 비트를 추가하는 요약 표현과 반복 패턴을 식별자로 대체하는 구조적 압축으로 분류한다.
• 플레인 그래프에 대한 Turán의 인코딩, Jacobson의 페이지 수 기반 인코딩, 그리고 Farzan과 Munro의 요약 데이터 구조를 활용한 일반 그래프 표현과 같은 이론적 접근 방식을 검토한다.
• PReaCH와 같은 실용적 시스템을 분석하며, 이는 압축된 그래프에서 빠른 도달 가능성 쿼리를 지원하기 위해 분할 및 레이블링 전략을 사용한다.
• DAG 증강 및 Dijkstra 유사 알고리즘을 통한 레이블 제약 도달 가능성 쿼리, 그리고 성능 향상을 위한 랜덤화된 집합 포함 검사 방법을 고려한다.
• 행렬 기반 압축 기법으로 인한 요약(예: Nourbakhsh 등)과 차수 기반 재정렬(예: Kang과 Faloutsos)을 검토하며, 외부 메모리 및 MapReduce 환경과의 호환성을 고려한다.
• 외부 메모리용 I/O 효율적인 알고리즘을 검토하며, GraphChi 및 Meyer 등이 개발한 I/O 최적화된 BFS 및 최단 경로 알고리즘을 포함한다.

실험 결과

연구 질문

• RQ1 공간 사용을 줄이면서도 효율적인 쿼리를 지원하는 데 가장 효과적인 손실 없는 그래프 압축 기법은 무엇인가?
• RQ2 다양한 그래프 유형(예: 플레인, 유한 성질, 거듭제곱 법칙)에서 요약 표현의 압축 비율과 쿼리 효율성은 어떻게 비교되는가?
• RQ3 구조적 압축과 행렬 분해가 쿼리 지원을 희생시키지 않고 그래프 표현 크기를 얼마나 줄일 수 있는가?
• RQ4 GraphChi 및 I/O 최적화된 BFS 알고리즘과 같은 I/O 효율적인 시스템은 외부 메모리에 저장된 대규모 그래프를 어떻게 처리하는가?
• RQ5 현대 그래프 압축 시스템에서 압축 비율, 쿼리 속도, 사전 처리 비용 간의 상충 관계는 어떠한가?

주요 결과

• PReaCH는 큰 방향성 그래프에서 도달 가능성 쿼리에 대해 최신 기술 수준의 성능을 달성하며, 전체 복원 없이도 빠른 쿼리 응답을 지원한다.
• Jacobson의 요약 표현 및 Farzan-Munro의 요약 표현은 정보 이론적 하한선에 로그 인자 범위 내에서 공간 사용을 달성한다.
• Turán의 방법은 무방향 플레인 그래프를 ≤12n 비트로 압축하며, 레이블이 있는 경우 n⌈log₂n⌉ + 12n 비트로 압축한다. 이는 스패닝 트리와 순환 수열을 활용한다.
• Kang과 Faloutsos의 방법은 거듭제곱 법칙 그래프에서 7–16 bpe를 달성하며, 차수 기반 재정렬의 반복적 적용과 gzip 압축을 통해 블록 기반 행렬 연산을 가능하게 한다.
• Nourbakhsh 등이 제안한 행렬 분해 기법은 인접 행렬을 크기 (n + k²)로 줄이지만, 손실적일 수 있으며 분해 품질에 의존한다.
• GraphChi를 통해 외부 메모리에서 효율적인 계산이 가능하다. 예를 들어, SSD에서 38억 개 간선의 그래프에 대해 100회의 PageRank 반복을 약 581분 내에 수행하며, 30노드 클러스터 대비 뿐만 아니라 4배 이내로 느린 성능을 보인다.