[논문 리뷰] Tree Compression with Top Trees Revisited

Lorenz Hübschle-Schneider, Rajeev Raman|Repository KITopen (Karlsruhe Institute of Technology)|2015. 01. 01.

Algorithms and Data Compression참고 문헌 1인용 수 7

한 줄 요약

이 논문은 트리 압축을 다시 다루며, top trees를 사용하여 RePair 유사 히우리스틱을 도입해 클러스터 병합의 순서를 안내함으로써 저장 정보를 크게 줄이고 압축 속도와 비율을 향상시킨다. 이는 압축된 표현에서 압축 해제 없이도 로그 시간 내에 탐색이 가능하게 하며, 압축 비율의 최악의 경우 정보 이론적 최적값에 log log 요소 내에서 근접한다.

ABSTRACT

We revisit tree compression with top trees (Bille et al, ICALP'13) and present several improvements to the compressor and its analysis. By significantly reducing the amount of information stored and guiding the compression step using a RePair-inspired heuristic, we obtain a fast compressor achieving good compression ratios, addressing an open problem posed by Bille et al. We show how, with relatively small overhead, the compressed file can be converted into an in-memory representation that supports basic navigation operations in worst-case logarithmic time without decompression. We also show a much improved worst-case bound on the size of the output of top-tree compression (answering an open question posed in a talk on this algorithm by Weimann in 2012).

연구 동기 및 목표

• Bille 등(2012)이 제기한 문제인 top 트리 압축의 실용성 문제를 해결하기 위해 압축 속도와 비율을 향상시키는 것.
• top 트리 구축 과정에서 저장되는 정보의 양을 줄여 효율성을 높이는 것.
• 압축 해제 없이도 압축된 트리 표현에서 효율적인 탐색을 가능하게 하여 O(log n) 시간 내에 연산을 지원하는 것.
• 압축 출력 크기의 더 엄격한 최악의 경우 경계를 제공하여 Weimann(2012)의 발표에서 제기된 열린 질문을 해결하는 것.
• 기존 트리 압축기 대비 증명 가능 성능 경계를 갖는 실용적이고 빠르며 유연한 대안으로 top 트리 압축이 가능함을 보여주는 것.

제안 방법

• top 트리에서 클러스터 병합 순서를 안내하기 위해 RePair 유사 히우리스틱을 도입하여 빈번한 서브트리 패턴을 우선순위로 하는 것.
• 콤바이너를 사용해 클러스터를 표현하고 병합하여 중복을 최소화하고 압축 효율을 향상시키는 것.
• 압축된 메모리 내 표현을 설계하여 압축 해제 없이도 부모, 자식, 깊이 등의 탐색 연산을 O(log n) 시간 내에 수행할 수 있도록 하는 것.
• 공간을 줄이고 국부성을 향상시키기 위해 두 개의 스패닝 트리 분해를 사용해 top DAG의 인코딩을 최적화하는 것.
• 빈도 히우리스틱에 따라 지능적으로 병합 순서를 정하는 하향식 병합 전략을 적용하여 공유 서브트리 패턴의 재사용을 극대화하는 것.
• 압축 비율의 최악의 경우 경계가 정보 이론적 하한선에 비해 log log σ n_T 요소 내에 있다는 이론적 분석을 제시하는 것.

실험 결과

연구 질문

• RQ1 히우리스틱 기반 클러스터 병합을 통해 top 트리 압축을 실용적이고 효율적으로 만들 수 있는가?
• RQ2 top 트리 압축을 통해 압축 출력 크기의 최대한의 엄격한 최악의 경우 경계는 무엇인가?
• RQ3 압축된 top DAG는 압축 해제 없이도 로그 시간 내에 효율적으로 탐색 가능한가?
• RQ4 RePair 유사 병합은 원래 top 트리 방법에 비해 압축 비율과 속도를 얼마나 향상시키는가?
• RQ5 top 트리의 구조가 압축 비율에 얼마나 영향을 미치며, 이를 모델링하거나 예측할 수 있는가?

주요 결과

• RePair 유사 히우리스틱은 top 트리 구축 과정에서 저장되는 정보의 양을 줄여 압축 속도를 향상시키고 압축 비율을 개선한다.
• 압축 비율의 최악의 경우 경계는 정보 이론적 하한선에 비해 log log σ n_T 요소 내에 있으며, Weimann(2012)의 열린 질문에 답을 제시한다.
• 압축된 top DAG는 압축 해제 없이도 부모, 자식, 깊이 등의 탐색 연산을 O(log n) 시간 내에 수행할 수 있어 효율적인 메모리 내 처리를 가능하게 한다.
• 실험 결과, TopTrees와 TT+RePair는 RePair 및 TreeRePair보다 빠른 속도를 보이며, 랜덤 트리에서는 이론적 최적에 가까운 압축 비율을 달성한다.
• 속도 향상이 뚜렷하다: 예를 들어, dblp 파일을 압축할 때 TopTrees는 6.00초, TreeRePair는 45.72초가 소요되며, 경쟁 가능한 압축 비율을 유지한다.
• 메모리 내 표현은 표준 DOM 표현보다 최대 16배 작아서 대규모 트리 처리에 주로 메모리에서 사용하기에 적합하다.