[論文レビュー] Adaptive Codes: A New Class of Non-standard Variable-length Codes

Dragoş Trincă|ArXiv.org|May 2, 2005

Algorithms and Data Compression参考文献 7被引用数 3

ひとこと要約

本稿では、入力文字列における直前の記号に応じて符号語を動的に割り当てる非標準的で可変長の符号である「適応符号」を導入する。著者らは、1次適応符号の構築に効率的なアルゴリズムを提示し、符号化の圧縮レートが入力のエントロピーによって上限付けられることを証明している。入力文字列に繰り返し現れる記号ペアが多数存在する場合には、文脈に応じた符号語割り当てにより、近似的に最適な性能を達成する。

ABSTRACT

We introduce a new class of non-standard variable-length codes, called adaptive codes. This class of codes associates a variable-length codeword to the symbol being encoded depending on the previous symbols in the input data string. An efficient algorithm for constructing adaptive codes of order one is presented. Then, we introduce a natural generalization of adaptive codes, called GA codes.

研究の動機と目的

• 入力記号の直前状態に応じて符号語の割り当てを適応的に変更する新しい可変長符号のクラスを構築し、圧縮効率を向上させること。
• 実装可能性を高めるために、1次適応符号を構築する効率的なアルゴリズムを設計すること。
• 符号化アルゴリズムのレートをエントロピーと関連付けることで、圧縮性能の理論的上限を確立すること。
• 適応符号をより広範なクラス、GA符号へ一般化し、高次および柔軟な文脈適応を可能とすること。

提案手法

• 適応符号は関数 $ c: \Sigma \times \Sigma^{\leq n} \rightarrow \Delta^{+} $ により定義され、符号語の割り当てがこれまでに読み取った最後の $ n $ 個の記号に依存する。
• 同型拡張 $ \overline{c} $ により単射性が保証され、符号化された文字列の一意復号可能性が保証される。
• 符号語の割り当てを文脈に応じて行うため、1次適応符号の構築に向けたアルゴリズムが提案され、符号語の文脈依存性を満たす前綴符号が使用される。
• 圧縮レート $ R_A(w) $ が分析され、$ H_A(w) \leq R_A(w) \leq H_A(w) + 1 $ という上限が示され、ここで $ H_A(w) $ は符号化列のエントロピーである。
• 任意の長さの履歴にとどまらない文脈選択を可能とするために、適応関数 $ F $ を用いた GA 符号への一般化が導入される。
• 文脈依存符号語集合 $ C_{\sigma_1\ldots\sigma_h} $ が前綴符号を形成する理論的条件が証明され、同型拡張の単射性が保証される。

実験結果

リサーチクエスチョン

• RQ1 直前の入力記号に応じて符号語長を動的に変更できる可変長符号を設計することは可能か？
• RQ2 1次適応符号を効率的に構築し、一意復号可能性が保証されるようなアルゴリズム的構造は何か？
• RQ3 適応符号の圧縮レートは、入力データのエントロピーとどのように関係するか？
• RQ4 固定長履歴を超えた任意の文脈選択を可能とするように、適応符号を一般化することは可能か？
• RQ5 文脈依存符号語集合 $ C_{\sigma_1\ldots\sigma_h} $ が前綴符号のまま保たれるための理論的条件は何か？

主な発見

• 1次適応符号を構築するための効率的なアルゴリズムが提示され、実用的応用が可能になる。
• アルゴリズムの圧縮レート $ R_A(w) $ は、入力のエントロピー $ H_A(w) $ によって上限付けられ、$ H_A(w) \leq R_A(w) \leq H_A(w) + 1 $ が成り立つ。これは近似的に最適な性能を示している。
• 入力文字列に繰り返し現れる記号ペアが多数存在する場合には、文脈に応じた符号語割り当てにより、高い圧縮効率が達成される。
• 適応符号のクラスは、正式に GA 符号へ一般化され、標準的な適応符号が GA 符号の特殊ケースであることが証明された。
• 文脈依存符号語集合 $ C_{\sigma_1\ldots\sigma_h} $ が前綴符号を形成する理論的条件が確立され、同型拡張の一意復号可能性が保証された。
• エントロピーに基づく分析により、入力に強い統計的依存性がある場合には、圧縮レートが理論的最小値に近づくことが示された。