[논문 리뷰] Tight and simple Web graph compression

Szymon Grabowski, Wojciech Bieniecki|arXiv (Cornell University)|2010. 06. 04.

Algorithms and Data Compression참고 문헌 19인용 수 7

한 줄 요약

이 논문은 하이퍼링크 목록의 구조적 중복성을 활용하여 우수한 압축 비율을 달성하는 두 가지 새로운 웹 그래프 압축 알고리즘을 제시한다. 첫 번째 알고리즘은 적응형 블록 크기와 향상된 차분 인코딩을 사용하여 공간을 줄이지만 액세스 속도가 느려진다. 두 번째 알고리즘은 인접 리스트를 순서 있는 구조로 통합하여 압축을 극대화하면서도 공간-시간 트레이드오프를 경쟁적으로 유지하며, 엣지당 최소 1.06비트까지 압축을 달성한다—기존 기법을 뛰어넘으면서도 실용적인 액세스 속도를 유지한다.

ABSTRACT

Analysing Web graphs has applications in determining page ranks, fighting Web spam, detecting communities and mirror sites, and more. This study is however hampered by the necessity of storing a major part of huge graphs in the external memory, which prevents efficient random access to edge (hyperlink) lists. A number of algorithms involving compression techniques have thus been presented, to represent Web graphs succinctly but also providing random access. Those techniques are usually based on differential encodings of the adjacency lists, finding repeating nodes or node regions in the successive lists, more general grammar-based transformations or 2-dimensional representations of the binary matrix of the graph. In this paper we present two Web graph compression algorithms. The first can be seen as engineering of the Boldi and Vigna (2004) method. We extend the notion of similarity between link lists, and use a more compact encoding of residuals. The algorithm works on blocks of varying size (in the number of input lines) and sacrifices access time for better compression ratio, achieving more succinct graph representation than other algorithms reported in the literature. The second algorithm works on blocks of the same size, in the number of input lines, and its key mechanism is merging the block into a single ordered list. This method achieves much more attractive space-time tradeoffs.

연구 동기 및 목표

• 웹 그래프의 크기가 가용 메모리보다 크기 때문에 주 메모리에 저장하는 데 도전하는 문제를 해결하기 위해.
• 기존 방법을 초월하여 압축 비율을 향상시키면서도 인접 리스트에 대한 효율적인 랜덤 액세스를 유지하기 위해.
• 성능 효율성과 액세스 성능 사이의 트레이드오프를 단순한 웹 그래프 표현에서 탐색하기 위해.
• 하이퍼링크 목록의 국소적 및 전역적 중복성을 활용하여 보다 우수한 압축을 달성하는 방법을 개발하기 위해.
• 제안된 알고리즘의 성능을 실제 웹 그래프 데이터셋에서 평가하기 위해.

제안 방법

• 첫 번째 알고리즘은 가변 크기의 블록을 사용하며, Boldi와 Vigna의 유사성 기반 압축 기법을 확장하여 잔여치 인코딩을 개선하고, 블록에 대해 Deflate 압축을 적용한다.
• 각 블록 내 리스트에 대해 차분 인코딩을 적용하여 각 리스트가 이전 리스트를 기준으로 하여 차이값(잔여치)만 저장한다.
• 두 번째 알고리즘은 고정 크기의 블록을 처리하며, 블록 내 모든 리스트를 하나의 순서 있는 리스트로 통합하여 전역 중복 탐지로 더 효과적인 압축을 가능하게 한다.
• 하이브리드 접근 방식을 사용한다: 빠른 액세스를 위한 LM-bitmap과 더 높은 압축률을 위한 LM-diff를 모두 블록 수준의 통합과 차분 인코딩을 활용한다.
• 잔여치에 대해 Deflate 압축을 적용하고, 네 가지 실제 웹 그래프 데이터셋에 대해 직접 및 전치 형태로 테스트한다.
• 시스템은 자바로 구현되었으며, 3.0 GHz 펜티엄4 머신에 1 GB RAM을 사용하여 엣지당 비트 수(bpe)와 엣지당 액세스 시간을 측정하였다.

실험 결과

연구 질문

• RQ1 기존 Boldi–Vigna 접근 방식을 초월하여 인접 리스트 간의 유사성 개념을 확장함으로써 웹 그래프 압축을 향상시킬 수 있는가?
• RQ2 블록 내 여러 인접 리스트를 하나의 순서 있는 리스트로 통합하면 개별 리스트의 차분 인코딩보다 더 나은 압축을 달성할 수 있는가?
• RQ3 웹 그래프 압축에서 압축 비율과 액세스 시간을 균형 잡는 데 최적의 블록 크기는 무엇인가?
• RQ4 제안된 알고리즘이 Boldi–Vigna나 문법 기반 기법과 같은 기존 방법과 비교해 공간-시간 트레이드오프에서 어떻게 성능을 내는가?
• RQ5 제안된 방법은 액세스 시간이 SSD 디스크 액세스 수준과 경쟁 가능하면서도 1.1 bpe 이하의 압축을 달성할 수 있는가?

주요 결과

• LM-diff 변형은 인도차이나-2004 데이터셋에서 16384바이트 블록 크기로 1.061 bpe의 압축 비율을 달성하여 기존 연구를 뛰어넘었다.
• EU-2005 데이터셋에서 LM-bitmap 변형은 h=32일 때 1.485 bpe를 기록하여 뛰어난 압축 성능과 수용 가능한 액세스 시간을 동시에 확보했다.
• 블록 크기가 커질수록 액세스 시간이 증가했다: 인도차이나-2004에서 16384바이트 블록은 엣지당 57.39 μs를 기록한 반면, 1024바이트 블록은 6.50 μs였다.
• 블록 크기를 1024에서 16384바이트로 두 배로 늘였더니 공간은 약 10% 감소했지만, 평균적으로 액세스 시간은 약 9배 증가했다.
• 인도차이나-2004에서 h=64일 때 LM-diff 변형은 LM-bitmap 대비 약 74%의 디코딩 속도 저하를 보였지만, 평균 속도 저하는 더 온전한 편이었다.
• 제안된 알고리즘은 표준 7200RPM 하드디스크(~10ms)보다 훨씬 빠른 액세스 시간을 확보했으며, BV나 클로드–나바로 방법보다 1~2개의 주기수만큼 느리더라도 여전히 실용적인 성능을 유지를 했다.