[논문 리뷰] Fully Online Grammar Compression in Constant Space

Shirou Maruyama, Yasuo Tabei|arXiv (Cornell University)|2014. 01. 21.

Algorithms and Data Compression참고 문헌 8인용 수 10

한 줄 요약

이 논문은 스트림 마이닝 기법을 활용해 해시 테이블에 빈도가 높은 생성 규칙만 유지함으로써 일정한 작업 공간을 확보하는 새로운 완전 온라인 문법 압축 변형인 FREQ_FOLCA와 LOSSY_FOLCA를 소개한다. 이 방법들은 인간 게놈과 같은 대규모이고 노이즈가 많은 반복 텍스트의 효율적 압축 및 복원을 가능하게 하며, 높은 압축 비율과 선형 시간 복잡도를 유지하면서도 이전 방법들보다 메모리 효율성과 확장성에서 뛰어나다.

ABSTRACT

We present novel variants of fully online LCA (FOLCA), a fully online grammar compression that builds a straight line program (SLP) and directly encodes it into a succinct representation in an online manner. FOLCA enables a direct encoding of an SLP into a succinct representation that is asymptotically equivalent to an information theoretic lower bound for representing an SLP (Maruyama et al., SPIRE'13). The compression of FOLCA takes linear time proportional to the length of an input text and its working space depends only on the size of the SLP, which enables us to apply FOLCA to large-scale repetitive texts. Recent repetitive texts, however, include some noise. For example, current sequencing technology has significant error rates, which embeds noise into genome sequences. For such noisy repetitive texts, FOLCA working in the SLP size consumes a large amount of memory. We present two variants of FOLCA working in constant space by leveraging the idea behind stream mining techniques. Experiments using 100 human genomes corresponding to about 300GB from the 1000 human genomes project revealed the applicability of our method to large-scale, noisy repetitive texts.

연구 동기 및 목표

• 대규모이고 노이즈가 많은 반복 텍스트(예: 인간 게놈 서열)에 적용될 때 기존의 문법 압축 방법들이 소비하는 높은 메모리 양을 해결하기 위해.
• FOLCA의 한계를 극복하기 위해, 작업 공간이 SLP 크기에 비례하는 바람에 노이즈가 많고 대규모 데이터에 대해 실행 불가능한 문제를 해결하기 위해.
• 높은 압축 효율성을 유지하면서도 일정한 작업 공간에서 작동하는 완전 온라인 문법 압축 알고리즘을 개발하기 위해.
• 표준 하드웨어에서 100개의 인간 게놈과 같은 대규모 반복 텍스트 컬렉션의 실용적인 압축 및 복원을 가능하게 하기 위해.
• 스트림 마이닝에 영감을 얻어 빈도 기반으로 메모리에 유지할 생산 규칙을 선택하는 전략을 도입하여, 압축 품질을 희생시키지 않고 공간 사용량을 줄이기 위해.

제안 방법

• 빈도가 높은 생성 규칙만 해시 테이블에 유지하고 빈도가 낮은 규칙은 기각함으로써 메모리 절약을 위한 스트림 마이닝 기법을 활용한다.
• 빈도 기반 임계값 k에 따라 가장 빈도가 높은 생성 규칙을 우선적으로 저장함으로써 FREQ_FOLCA를 설계하여 작업 공간을 일정하게 유지한다.
• 빈도가 낮은 규칙을 매개변수 ℓ에 따라 손실 가능성이 있는 필터링 전략을 사용하여 LOSSY_FOLCA를 설계함으로써 일정한 공간을 확보하면서도 압축 품질에 대한 제어 가능한 손실을 허용한다.
• 비트 스트링과 레이블 시퀀스를 기반으로 한 압축된 SLP 표현 방식을 사용하여 보조 저장소에서의 효율적 복원을 가능하게 한다.
• 빈도 기반 필터링으로 작게 유지되는 해시 테이블을 갖는 역방향 사전을 통합하여, 복원 과정 중 일정한 메모리 사용을 보장한다.
• 입력 텍스트를 단일 패assing으로 처리함으로써 온라인 압축 및 복원을 수행하며, 전체 과정 동안 일정한 공간을 유지한다.

실험 결과

연구 질문

• RQ1 대규모이고 노이즈가 많은 반복 텍스트에 대해 완전 온라인 문법 압축이 일정한 공간에서 수행될 수 있는가?
• RQ2 빈도 기반으로 메모리에 유지할 생산 규칙를 어떻게 식별하고 유지할 수 있는가? 이는 공간 사용량을 최소화하면서도 높은 압축 비율을 유지하는 데 기여한다.
• RQ3 생산 규칙의 빈도 기반 필터링을 사용할 경우, 압축 비율과 작업 공간 사이의 상호 교환 관계는 어떠한가?
• RQ4 일정한 공간에서의 문법 압축이 실제 노이즈가 많은 데이터(예: 인간 게놈 서열)에 효과적으로 적용될 수 있는가?
• RQ5 기존의 압축기들(FOLCA, LZMA, BLOCK_FOLCA 등)과 비교했을 때, 제안된 방법들의 성능은 메모리, 시간, 압축 비율 측면에서 어떻게 다른가?

주요 결과

• FREQ_FOLCA와 LOSSY_FOLCA는 입력 크기에 관계없이 일정한 작업 공간을 확보한다. FREQ_FOLCA는 36–76 GB, LOSSY_FOLCA는 36–56 GB를 차지하며, FOLCA는 52 GB 게놈에 대해 100 GB 이상을 필요로 했던 것과 대비된다.
• 100개의 인간 게놈(306 GB)을 FREQ_FOLCA와 LOSSY_FOLCA로 압축하는 데 24시간 이내에 완료되었으며, LZMA는 5일 이내로 완료되지 못했다.
• LOSSY_FOLCA는 56.9 MB의 최대 작업 공간을 사용하여 17.45%의 압축 비율을 달성했으며, 동일한 설정에서 BLOCK_FOLCA(34.7 MB에서 25.91%)보다 뛰어난 성능을 보였다.
• FREQ_FOLCA는 76.1 MB의 작업 공간을 사용하여 19.71%의 압축 비율을 달성했으며, 이는 압축 비율과 메모리 사용량 사이의 상호 교환 관계를 잘 보여준다.
• 두 변형 모두 복원 시간이 23,000 초 이내였으며, 일정한 공간에서 작동함에도 불구하고 효율적인 복원 성능을 보였다.
• 제안된 방법들은 1000 Genomes Project에서 유래한 실제 노이즈가 있는 반복 텍스트 데이터를 성공적으로 처리하여 대규모 게놈 데이터에 대한 적용 가능성을 입증했다.