[論文レビュー] Twenty (or so) Questions: $D$-ary Bounded-Length Huffman Coding

Michael B. Baer|arXiv (Cornell University)|Feb 25, 2006

Algorithms and Data Compression参考文献 27被引用数 1

ひとこと要約

この論文は、[lmin, lmax] の範囲内で制限された符号語長を満たす最適な D-ary ソース符号を、平均符号語長やその他の凸符号化ペナルティを最小化するための、O(n(lmax − lmin))-時間、O(n)-空間の Package-Merge を用いたアルゴリズムを提示する。従来の動的計画法に比べ、時間と空間計算量を削減することで、非2進数の長さ制限付きハフマン符号化を効率的に実行可能にする。

ABSTRACT

The game of Twenty Questions has long been used to illustrate binary source coding. Recently, a physical device has been developed that mimics the process of playing Twenty Questions, with the device supplying the questions and the user providing the answers. However, this game differs from Twenty Questions in two ways: Answers need not be only “yes” and “no,” and the device continues to ask questions beyond the traditional twenty; typically, at least 20 and at most 25 questions are asked. The nonbinary variation on source coding is one that is well known and understood, but not with such bounds on length. An upper bound on the related property of fringe, the difference between the lengths of the longest and the shortest codewords, has been considered, but no polynomial-time algorithm currently finds optimal fringe-limited codes. An O(n(lmax − lmin))-time O(n)-space Package-Merge-based algorithm is presented here for finding an optimal D-ary (binary or nonbinary) source code with all n codeword lengths (numbers of questions) bounded to be within the interval [lmin, lmax]. This algorithm minimizes average codeword length or, more generally, any other quasiarithmetic convex coding penalty. In the case of minimizing average codeword length, time complexity can often be improved via an alternative graph-based reduction. This has, as a special case, a method for nonbinary length-limited Huffman coding, which was previously solved via dynamic programming with O(n² lmax log D) time and O(n 2 log D) space. These algorithms can also be used to efficiently find a code that is optimal given a limit on fringe.

研究の動機と目的

• 制限された符号語長 [lmin, lmax] を満たす最適な D-ary ソース符号のための多項式時間アルゴリズムの欠如に対処すること。
• 長さ制約 [lmin, lmax] の下で平均符号語長や凸符号化ペナルティを最小化すること。
• 非2進数の長さ制限付きハフマン符号化における従来の O(n² lmax log D) 時間および空間計算量を改善すること。
• 長さの差（フレームジ）が制限される「フレームジ制限付き符号化」に対して効率的な解決策を提供すること。

提案手法

• 長さ制限付き符号語生成のため、Package-Merge アルゴリズムを D-ary アルファベットに適応する。
• 符号語長の制約を満たすために、長さ区間 [lmin, lmax] を用いた動的計画法フレームワークを採用する。
• 平均符号語長や関連する指標をモデル化するため、凸ペナルティ関数を適用する。
• Package-Merge の構造を活用することで、時間計算量を O(n(lmax − lmin))、空間計算量を O(n) に削減する。
• 平均長最小化の場合のさらなる時間計算量の改善のために、グラフベースの還元を導入する。
• 2進数および非2進数のアルファベットをサポートし、非2進数の長さ制限付き符号化に関する従来の結果を一般化する。

実験結果

リサーチクエスチョン

• RQ1 長さ制限 [lmin, lmax] を満たす条件下で、最適な D-ary ソース符号を効率的に計算できるか？
• RQ2 D-ary 符号において、このような長さ制約下で達成可能な最小平均符号語長は何か？
• RQ3 非2進数の長さ制限付きハフマン符号化の時間および空間計算量を O(n² lmax log D) 未満に低下させられるか？
• RQ4 長さの差（フレームジ）が制限される符号を効率的に計算する方法はあるか？
• RQ5 Package-Merge 技法を長さ制限付きの非2進数アルファベットに拡張できるか？

主な発見

• 提案されたアルゴリズムは、長さ制限付きの最適な D-ary 符号化において、O(n(lmax − lmin)) 時間および O(n) 空間計算量を達成する。
• アルゴリズムは、与えられた長さ制約下で平均符号語長や任意の凸符号化ペナルティを最小化する。
• 平均長最小化の場合、代替のグラフベースの還元により、さらに時間計算量が向上する。
• この手法は非2進数のアルファベットに一般化可能であり、従来の動的計画法よりも計算量が低いという、以前は未解決だった問題を解決する。
• フレームジが制限される最適符号の効率的計算が可能となり、これは従来、効率的な解決策が欠けていた性質である。
• 非2進数の長さ制限付きハフマン符号化において、従来の O(n² lmax log D) 時間および空間計算量の手法を上回る性能を発揮する。