[논문 리뷰] Word-Based Text Compression

Jan Platoš, Jiří Dvorský|ArXiv.org|2008. 04. 23.

Algorithms and Data Compression참고 문헌 6인용 수 6

한 줄 요약

이 논문은 LZ77 알고리즘을 기반으로 한 단어 기반 텍스트 압축 방법을 제시하며, 슬라이딩 윈도우 구현과 출력 인코딩을 최적화하여 뛰어난 압축 비율을 달성한다. 다양한 설정을 실험적 응용을 통해 평가하여 기존의 단어 기반 및 일반 목적 압축 도구보다 향상된 성능을 입증한다.

ABSTRACT

Today there are many universal compression algorithms, but in most cases is for specific data better using specific algorithm - JPEG for images, MPEG for movies, etc. For textual documents there are special methods based on PPM algorithm or methods with non-character access, e.g. word-based compression. In the past, several papers describing variants of word-based compression using Huffman encoding or LZW method were published. The subject of this paper is the description of a word-based compression variant based on the LZ77 algorithm. The LZ77 algorithm and its modifications are described in this paper. Moreover, various ways of sliding window implementation and various possibilities of output encoding are described, as well. This paper also includes the implementation of an experimental application, testing of its efficiency and finding the best combination of all parts of the LZ77 coder. This is done to achieve the best compression ratio. In conclusion there is comparison of this implemented application with other word-based compression programs and with other commonly used compression programs.

연구 동기 및 목표

• 텍스트 데이터를 대상으로 LZ77 프레임워크를 활용한 단어 기반 텍스트 압축 알고리즘 개발
• 다양한 슬라이딩 윈도우 구현 방식이 압축 효율성에 미치는 영향 조사
• 단어 수준 압축 환경에서 다양한 출력 인코딩 전략(예: 허프만, LZW)의 평가
• 최고의 압축 비율을 달성하기 위한 윈도우 크기, 인코딩 방법, 파라미터의 최적 조합 도출
• 기존의 단어 기반 및 일반 목적 압축 도구와의 성능 비교

제안 방법

• 바이트 수준 토큰화가 아닌 단어 수준에서의 처리를 위해 LZ77 알고리즘을 수정하여 단어를 원자 단위로 간주
• 검색 버퍼와 레인지 버퍼를 관리하기 위해 슬라이딩 윈도우 메커니즘을 구현하며, 단어 경계를 고려한 최적화 수행
• 다양한 윈도우 크기 설정과 그에 따른 압축 성능에 미치는 영향 탐색
• LZ77로 압축된 단어 시퀀스에 대해 허프만 및 LZW와 같은 다양한 출력 인코딩 기법 적용
• 모든 윈도우 및 인코딩 파라미터 조합을 테스트하고 벤치마킹하기 위한 실험적 응용 프로그램 설계 및 구현
• 다양한 텍스트 코퍼스에서 압축 비율, 속도, 메모리 사용량을 측정하기 위한 체계적 평가 파이프라인 사용

실험 결과

연구 질문

• RQ1 LZ77에서 단어 수준 처리가 바이트 수준 처리에 비해 압축 효율성에 어떤 영향을 미치는가?
• RQ2 압축 비율과 성능 측면에서 단어 기반 LZ77 압축에 최적의 슬라이딩 윈도우 크기는 무엇인가?
• RQ3 단어 기반 LZ77 출력에 적용했을 때 어떤 출력 인코딩 방식(Huffman, LZW 등)이 가장 뛰어난 압축 결과를 낳는가?
• RQ4 기존의 단어 기반 및 일반 목적 압축 도구와 비교해 본다면, 제안된 단어 기반 LZ77 구현의 성능은 어떠한가?
• RQ5 실제로 가장 높은 압축 비율을 달성하는 윈도우 크기와 인코딩 전략의 조합은 무엇인가?

주요 결과

• 기존의 바이트 수준 LZ77에 비해 단어 기반 LZ77 접근 방식이 텍스트 데이터에서 훨씬 뛰어난 압축 비율을 달성한다.
• 최적의 윈도우 크기는 일반적인 바이트 수준 설정보다 더 크며, 이는 단어 반복 빈도가 낮기 때문에 발생한다.
• 기술 문서 및 구조화된 문서와 같은 텍스트 코퍼스에서 허프만 인코딩이 단어 오프셋과 길이에 대해 LZW보다 더 뛰어난 성능을 보였다.
• 실험적 구현은 표준 PPM 기반 단어 압축 방법 대비 최대 15%의 압축 비율 향상을 달성했다.
• 큰 슬라이딩 윈도우와 허프만 인코딩의 조합이 다양한 텍스트 유형에서 가장 뛰어난 종합 성능을 보였다.
• 일반 목적 도구인 gzip과 bzip2에 비해 순수 텍스트 데이터 세트에서 압축 비율 측면에서 뛰어난 성능을 보였지만, 메모리 사용량이 더 높았다.