[논문 리뷰] Twenty (or so) Questions: $D$-ary Bounded-Length Huffman Coding

Michael B. Baer|arXiv (Cornell University)|2006. 02. 25.

Algorithms and Data Compression참고 문헌 27인용 수 1

한 줄 요약

이 논문은 평균 코드어 길이 또는 기타 볼록 코딩 페널티를 최소화하는 조건에서 [lmin, lmax] 범위 내의 제한된 코드어 길이를 가진 최적의 D-진 소스 부호를 계산하기 위한 O(n(lmax − lmin))-시간, O(n)-공간의 Package-Merge 기반 알고리즘을 제시한다. 기존의 동적 프로그래밍 방법에 비해 시간과 공간 복잡도를 감소시켜 비이진 길이 제한 허프만 부호화를 효율적으로 수행할 수 있다.

ABSTRACT

The game of Twenty Questions has long been used to illustrate binary source coding. Recently, a physical device has been developed that mimics the process of playing Twenty Questions, with the device supplying the questions and the user providing the answers. However, this game differs from Twenty Questions in two ways: Answers need not be only “yes” and “no,” and the device continues to ask questions beyond the traditional twenty; typically, at least 20 and at most 25 questions are asked. The nonbinary variation on source coding is one that is well known and understood, but not with such bounds on length. An upper bound on the related property of fringe, the difference between the lengths of the longest and the shortest codewords, has been considered, but no polynomial-time algorithm currently finds optimal fringe-limited codes. An O(n(lmax − lmin))-time O(n)-space Package-Merge-based algorithm is presented here for finding an optimal D-ary (binary or nonbinary) source code with all n codeword lengths (numbers of questions) bounded to be within the interval [lmin, lmax]. This algorithm minimizes average codeword length or, more generally, any other quasiarithmetic convex coding penalty. In the case of minimizing average codeword length, time complexity can often be improved via an alternative graph-based reduction. This has, as a special case, a method for nonbinary length-limited Huffman coding, which was previously solved via dynamic programming with O(n² lmax log D) time and O(n 2 log D) space. These algorithms can also be used to efficiently find a code that is optimal given a limit on fringe.

연구 동기 및 목표

• 제한된 코드어 길이 [lmin, lmax]를 가진 최적의 D-진 소스 부호를 위한 다항 시간 알고리즘이 부족한 문제를 해결하기 위해.
• 길이 제약 조건 [lmin, lmax] 하에서 평균 코드어 길이 또는 볼록 코딩 페널티를 최소화하기 위해.
• 비이진 길이 제한 허프만 부호화의 기존 O(n² lmax log D) 시간 및 공간 복잡도를 향상시키기 위해.
• 가장 긴 코드어와 가장 짧은 코드어의 차이가 제한된 프린지 제한 부호화에 대해 효율적인 해법을 제공하기 위해.

제안 방법

• 길이 제약 조건이 있는 D-진 알파벳에 대해 Package-Merge 알고리즘을 적응시켜 제한된 길이의 코드어 생성을 위해.
• 코드어 길이 제약 조건을 만족시키기 위해 길이 간격 [lmin, lmax]를 고려한 동적 프로그래밍 프레임워크를 사용하기 위해.
• 평균 코드어 길이 또는 관련 지표를 모델링하기 위해 볼록 페널티 함수를 적용하기 위해.
• Package-Merge 기법의 구조를 활용하여 시간 복잡도를 O(n(lmax − lmin))으로 감소시키고 공간 복잡도를 O(n)으로 유지하기 위해.
• 평균 길이 최소화 케이스에서 시간 복잡도 향상을 위해 그래프 기반의 감소 기법을 도입하기 위해.
• 이진 및 비이진 알파벳 모두를 지원하며, 비이진 길이 제한 부호화에 대한 이전 결과를 일반화하기 위해.

실험 결과

연구 질문

• RQ1 제한된 코드어 길이 범위 [lmin, lmax] 조건 하에서 최적의 D-진 소스 부호를 효율적으로 계산할 수 있는가?
• RQ2 D-진 부호에서 이러한 길이 제약 조건 하에서 달성 가능한 최소 평균 코드어 길이는 얼마인가?
• RQ3 비이진 길이 제한 허프만 부호화의 시간 및 공간 복잡도를 O(n² lmax log D) 이하로 낮출 수 있는가?
• RQ4 가장 긴 코드어와 가장 짧은 코드어의 차이가 제한된 부호를 효율적으로 계산할 수 있는 방법이 있는가?
• RQ5 Package-Merge 기법을 길이 제약 조건이 있는 비이진 알파벳으로 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 제한된 코드어 길이 조건 하에서 최적의 D-진 부호화에 대해 O(n(lmax − lmin)) 시간 및 O(n) 공간 복잡도를 달성한다.
• 제시된 알고리즘은 주어진 길이 제약 조건 하에서 평균 코드어 길이 또는 어떤 볼록 코딩 페널티를 최소화한다.
• 평균 길이 최소화 케이스에서는 추가로 그래프 기반 감소 기법을 통해 시간 복잡도를 더욱 향상시킬 수 있다.
• 이 방법은 비이진 알파벳으로 일반화되어 있으며, 기존에 열려 있던 문제를 동적 프로그래밍에 비해 향상된 복잡도로 해결한다.
• 알고리즘은 프린지가 제한된 최적의 부호를 효율적으로 계산할 수 있게 하여 이전에는 효율적인 해법이 없었던 성질을 해결한다.
• 비이진 길이 제한 허프만 부호화에 대해 기존의 O(n² lmax log D) 시간 및 공간 복잡도 방법보다 성능이 뛰어나다.