[論文レビュー] Prefix Codes for Power Laws with Countable Support

Michael B. Baer|arXiv (Cornell University)|Nov 15, 2006

Algorithms and Data Compression参考文献 25被引用数 4

ひとこと要約

本稿では、可算な定義域を持つべき乗則分布に対して最適化されたプレフィックス符号の族を提案する。特に、ゼータ分布（ζ(2)）やガウス＝クズミン分布のような分布の圧縮効率を向上させる。再帰的構造と2進表現および完全2進符号に基づく適応符号化を活用することで、エントロピーに基づく厳密な境界と、ゴロム符号やライス符号といった既存手法を上回る近似的最適性能を達成する。

ABSTRACT

In prefix coding over an infinite alphabet, methods that consider specific distributions generally consider those that decline more quickly than a power law (e.g., Golomb coding). Particular power-law distributions, however, model many random variables encountered in practice. For such random variables, compression performance is judged via estimates of expected bits per input symbol. This correspondence introduces a family of prefix codes with an eye towards near-optimal coding of known distributions. Compression performance is precisely estimated for well-known probability distributions using these codes and using previously known prefix codes. One application of these near-optimal codes is an improved representation of rational numbers.

研究の動機と目的

• 無限記号源に適用可能な効率的プレフィックス符号化方式の不足に応えること。特に、緩やかに減少するべき乗則分布（例：$p(i) \sim i^{-\alpha}$, $\alpha > 1$）を対象とする。
• 既知のべき乗則分布（特に連分数や語彙頻度の文脈で生じる分布）に対して、近似的最適な圧縮性能を達成するプレフィックス符号の族を開発すること。
• エントロピーに基づく境界と再帰的符号構築法を用いて、これらの符号の期待符号語長の明確な解析的推定値を提供すること。
• 連分数展開における整数係数の符号化をより効率的に行うことで、有理数の表現を改善すること。
• 急激に減少する分布（例：幾何分布）に限らないプレフィックス符号化の適用範囲を、現実世界のデータに一般的な緩やかに減少するべき乗則分布へ拡張すること。

提案手法

• 整数範囲を $2^{g_i}$ のサイズのブロックに分割し、$g_i = \lfloor \lg i \rfloor$ と定義し、各ブロック内でのオフセットに完全2進符号を用いる再帰的符号構築法を提案する。
• 符号族 $c_\omega(i)$ を定義し、長さ $g_i$ のユニタリプレフィックスと、$b(i - 2^{g_i}, m_i)$ で表される2進サフィックスを用いる。ここで $m_i = (2^{g_i} - (-1)^{g_i})/3$ である。
• エントロピーに基づく正規化境界を導入し、期待符号語長を推定する。式は $\sum p(i)n(i) \geq H_x + (y_x + \lg(1 - \sigma_x))(1 - \sigma_x)$ であり、$\sigma_x = \sum_{i=1}^{x-1} p(i)$ である。
• 上位から再帰的に符号を構築するアルゴリズム（シャノン＝ファノに類似）を適用。符号を2のべき乗サイズのブロックにグループ化し、不均衡を最小化する。分割基準として $|S(k_1^h, P) - 0.5|$ を用いる。
• プレフィックス符号の有効性と最適構造を保証するため、クラフトの不等式と単調性制約を用いる。符号語長分布 $n(i) \geq n(i+1)$ が単調であると仮定する。
• パラメータ $\alpha, \beta, \mu, \tau, \upsilon$ を持つパラメータ化された符号族 $\text{Code } k$ を用い、さまざまな符号タイプ（例：$\gamma$, $\omega$, $\text{EG}_k$）をモデル化することで、体系的な比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 無限記号源に適用可能なべき乗則分布（特に $p(i) \sim i^{-\alpha}$, $\alpha > 1$）に対して、近似的最適な圧縮を達成するプレフィックス符号をどのように設計できるか？
• RQ2 ゼータ分布（$\zeta(2)$）やガウス＝クズミン分布といった代表的な分布において、これらの新符号の正確な期待符号語長は何か？
• RQ3 ゴロム符号、ライス符号、エlias符号といった既存手法に比べて、べき乗則分布に従うデータの1記号あたりの期待ビット数において、提案符号が性能を上回るか？
• RQ4 エントロピーに基づく境界を用いることで、無限記号源における再帰的・適応的プレフィックス符号の性能をどのように厳密に推定できるか？
• RQ5 連分数展開における係数がガウス＝クズミン分布に従うという事実を踏まえると、これらの符号は有理数の圧縮をどの程度改善できるか？

主な発見

• 連分数の係数をモデル化するガウス＝クズミン分布に対して、提案された $\omega$-符号は、既存の符号よりも低い期待符号語長を達成する。
• パrameter $\zeta(2)$ のゼータ分布に対して、新符号は標準的なゴロム符号やライス符号と比較して、顕著に期待符号語長を短縮する。
• エントロピーに基づく境界 $\sum p(i)n(i) \geq H_x + (y_x + \lg(1 - \sigma_x))(1 - \sigma_x)$ は、期待符号長のタイトで厳密な推定値を提供し、性能評価を明確に可能にする。
• サイズ $2^{g_i}$ のブロックとオフセットに完全2進符号を用いた再帰的符号構築法は、複数のべき乗則分布において近似的最適な性能を達成し、理論的エントロピー限界に非常に近い。
• $|S(k_1^h, P) - 0.5|$ を最小化するようにブロックサイズを選択するアルゴリズムは、従来手法に比べてよりバランスの取れたグループ化を実現し、圧縮効率を向上させる。
• この手法は、実用的応用（算術符号化や有理数の圧縮など）に適した、オンザフライでの符号生成と性能推定を効率的に行える。