[논문 리뷰] On Undetected Redundancy in the Burrows-Wheeler Transform

Uwe Baier|arXiv (Cornell University)|2018. 01. 01.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 BWT의 조합 구조를 활용하여 런을 단축시킴으로써 BWT의 크기를 줄이는 새로운 기법인 '터널링(tunneling)'을 소개한다. 이 기법은 복원 가능성 손실 없이도 8–16%의 평균 크기 감소를 달성하며, 최적의 경우 최대 33–57%까지 감소시켜 BWT 기반 압축기의 경쟁력을 강화한다. 이는 시퀀스 분석 및 인덱싱에 있어 BWT의 유용성을 유지하면서도 최신 손실 없는 압축기 수준의 성능을 달성한다.

ABSTRACT

The Burrows-Wheeler-Transform (BWT) is an invertible permutation of a text known to be highly compressible but also useful for sequence analysis, what makes the BWT highly attractive for lossless data compression. In this paper, we present a new technique to reduce the size of a BWT using its combinatorial properties, while keeping it invertible. The technique can be applied to any BWT-based compressor, and, as experiments show, is able to reduce the encoding size by 8-16 % on average and up to 33-57 % in the best cases (depending on the BWT-compressor used), making BWT-based compressors competitive or even superior to today's best lossless compressors.

연구 동기 및 목표

• BWT의 런 레인지 인코딩에서 다루지 않은 바람직하지 않은 중복성 문제를 해결함으로써, BWT의 높은 압축 가능성에도 불구하고 압축 효율이 제한되는 문제를 해결하고자 한다.
• BWT 복원 가능성과 FM-인덱싱에 필수적인 조합적 성질을 유지하면서도 BWT 인코딩 크기를 줄이는 기법을 개발하고자 한다.
• BWT 기반 압축기가 현대의 손실 없는 압축기와 경쟁적 또는 슈퍼어리어한 압축 비율을 달성할 수 있음을 입증하고자 한다.
• 모든 BWT 기반 압축기에서 적용 가능한 실용적이고 이론적으로 타당한 방법을 제공하고자 한다. 이는 기반 런 인코딩 방식과 무관하다.

제안 방법

• 터널링 기법은 접미사 배열과 BWT의 구조적 특성을 활용하여 런을 식별하고 단축시킨다.
• 블록 기반 접근 방식을 사용하여 런을 블록으로 묶고, 내부 충돌 블록을 처리하여 중복을 줄인다.
• 점수 기반 메커니즘이 내부 블록의 기여도를 조정하여 런 레인지 인코딩에 미치는 영향을 최소화함으로써 인코딩 크기를 최소화한다.
• 복원 가능성과 역방향 검색 연산을 지원하기 위해 일반화된 LF-매핑과 웨이블릿 트리 구조에 의존한다.
• 런 레인지 최적화를 최종 압축 이전에 통합한 수정된 BWT 인코딩 파이프라인을 사용하여 알고리즘을 구현한다.
• 백엔드 압축기와 독립적이므로, bzip2, bwz, bcm, wt 등의 기존 BWT 기반 시스템과 호환된다.

실험 결과

연구 질문

• RQ1 BWT의 런 레인지 인코딩에서 중복성을 복원 가능성 손실 없이 체계적으로 줄일 수 있는가?
• RQ2 BWT의 구조적 특성에 대한 조합적 통찰을 활용해 BWT의 인코딩 크기를 얼마나 줄일 수 있는가?
• RQ3 제안된 터널링 기법이 FM-인덱싱 및 압축된 시퀀스 분석에 적합한 BWT의 성질을 유지하는가?
• RQ4 다양한 데이터 유형과 백엔드 압축기에서 터널링의 성능 및 압축 성능 향상 정도는 어떠한가?

주요 결과

• 터널링은 다양한 데이터셋을 대상으로 BWT 기반 압축기의 인코딩 크기를 평균 8–16% 감소시킨다.
• 최적의 경우 크기 감소율은 33–57%에 이르며, 특히 반복적 또는 구조화된 데이터에서 bwz와 wt 등의 압축기에 유리하게 작용한다.
• 완전한 복원 가능성과 BWT의 구조적 성질을 유지하여 FM-인덱싱 및 압축된 패턴 매칭과의 호환성을 확보한다.
• 터널링을 적용한 최고 성능 압축 버전(bcm-tunneled)은 다른 BWT 기반 압축기보다 뛰어나며, 반복적 데이터에서 xz와 경쟁 수준의 성능을 보인다.
• 인코딩 시간과 공간은 약 두 배로 증가하지만, 디코딩 시간과 공간은 감소하여 많은 응용 분야에서 유리한 트레이드오프를 제공한다.
• 압축 성능 향상에 대한 모델 적합도는 매우 우수하며, 이격치는 최대 0.3% 이내의 순손실만을 초래하고, 다양한 압축기와 데이터 모델에서 결과가 안정적이다.