[논문 리뷰] Domain Specific Hierarchical Huffman Encoding

K. Ilambharathi, G. S. N. V. Venkata Manik외 2명|arXiv (Cornell University)|2013. 07. 03.

Algorithms and Data Compression참고 문헌 2인용 수 5

한 줄 요약

이 논문은 먼저 빈번한 단어 패턴을 더 짧은 특수 문자열로 대체한 후, 변환된 텍스트에 고전적 허프만 코딩을 적용하는 이중 수준의 도메인 특화 데이터 압축 프레임워크를 제안한다. 이 방법은 특히 컴퓨터 과학 강의 노트와 같은 대규모 도메인 특화 텍스트에서 고전적 허프만 코딩보다 뛰어난 압축 비율을 달성한다. 이는 패턴 수준과 문자 수준의 압축이 효율적으로 결합되고 최적의 접두어 인코딩이 적용되기 때문이다.

ABSTRACT

In this paper, we revisit the classical data compression problem for domain specific texts. It is well-known that classical Huffman algorithm is optimal with respect to prefix encoding and the compression is done at character level. Since many data transfer are domain specific, for example, downloading of lecture notes, web-blogs, etc., it is natural to think of data compression in larger dimensions (i.e. word level rather than character level). Our framework employs a two-level compression scheme in which the first level identifies frequent patterns in the text using classical frequent pattern algorithms. The identified patterns are replaced with special strings and to acheive a better compression ratio the length of a special string is ensured to be shorter than the length of the corresponding pattern. After this transformation, on the resultant text, we employ classical Huffman data compression algorithm. In short, in the first level compression is done at word level and in the second level it is at character level. Interestingly, this two level compression technique for domain specific text outperforms classical Huffman technique. To support our claim, we have presented both theoretical and simulation results for domain specific texts.

연구 동기 및 목표

• 고전적 허프만 코딩이 문자 수준에서만 작동하고 도메인 특화 패턴을 무시한다는 한계를 해결하기 위해.
• 학술 강의 노트나 기술 블로그와 같은 도메인 특화 텍스트의 압축 비율을 향상시키기 위해 빈번한 단어 수준 패턴을 활용하기 위해.
• 빈번한 패턴 마이닝과 계층적 허프만 코딩을 결합하여 최적의 접두어 인코딩 압축을 위한 프레임워크를 설계하기 위해.
• 단어 수준의 압축 후 문자 수준의 허프만 코딩이 고전적 허프만 코딩보다 압축 비율과 효율성 측면에서 뛰어나다는 것을 검증하기 위해.

제안 방법

• 첫 번째 수준은 고전적 빈번한 패턴 마이닝 알고리즘을 사용하여 도메인 특화 텍스트에서 자주 나타나는 패턴(길이 ≥3)을 식별하며, 최소 빈도 임계치(예: 10회 이상)를 설정한다.
• 식별된 각 패턴은 더 짧은 특수 문자열로 대체되며, 이때 |r_i| < |P_i|를 보장하여 허프만 압축 이전에 텍스트 크기를 줄인다.
• 변환된 텍스트는 표준 문자와 짧은 대체 문자열로 구성되며, 이는 고전적 허프만 알고리즘에 의해 최적의 접두어 인코딩을 위해 투입된다.
• 압축 과정은 계층적이다: 단어 수준의 대체 후 문자 수준의 허프만 코딩이며, 대체 사전은 도메인당 한 번만 전송된다.
• 이론적 분석을 통해 두 수준의 방법이 접두어 인코딩 하에서 최적이며, 압축 비율은 두 수준의 허프만 성능 대비 고전적 허프만 성능의 비율로 정의됨을 증명한다.
• 시뮬레이션 실험은 컴퓨터 과학 도메인 텍스트(500KB–2MB)를 사용하여 성능, 압축 비율, 패턴 길이 및 빈도에 대한 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 도메인 특화 텍스트에서 빈번한 단어 패턴을 더 짧은 문자열로 대체하면 전체 압축 효율성이 향상되는가?
• RQ2 두 수준의 압축(패턴 수준 → 문자 수준)이 도메인 특화 데이터에 대해 고전적 허프만 코딩과 비교해 압축 비율에서 어떻게 다른가?
• RQ3 패턴 길이와 빈도는 제안된 계층적 허프만 방식의 성능에 어떤 영향을 미치는가?
• RQ4 패턴 사전 전송의 오버헤드가 고전적 허프만 코딩 대비 언제부터 정당화되는가?

주요 결과

• 큰 입력 텍스트(예: 2MB)에서는 패턴 빈도가 높고 효과적인 대체가 가능하기 때문에 계층적 허프만 방법이 고전적 허프만 코딩보다 압축 비율이 뛰어나다.
• 입력 텍스트 크기가 커질수록 압축 비율이 향상되며, 이는 더 많은 빈번한 패턴이 존재해 대체에 적합하기 때문이다.
• 같은 빈도일지라도 더 짧은 패턴이 더 높은 압축 비율을 제공하며, 이는 시뮬레이션 플롯으로 확인되었다.
• 계층적 허프만 방법이 고전적 허프만 코딩을 능가하려면 도메인 특화 텍스트의 다운로드 수가 임계 임계치를 초과해야 하며, 그 이후에는 한 번의 사전 전송 오버헤드가 분할되어 효율이 향상된다.
• 작은 입력 텍스트이거나 긴 패턴의 경우, 계층적 허프만의 성능은 고전적 허프만과 유사해지며, 패턴 대체의 이점이 감소하기 때문이다.
• 이론적 및 시뮬레이션 결과는 두 수준의 접근 방식이 접두어 인코딩 하에서 최적이며, 도메인 특화 데이터에서 뛰어난 성능을 달성함을 확인한다.