[論文レビュー] Prefix Coding under Siege

Michael B. Baer|arXiv (Cornell University)|May 23, 2006

Algorithms and Data Compression参考文献 37被引用数 1

ひとこと要約

本稿は、通信が終了する前に重要なメッセージを送信する必要がある状況における、新しい損失なしソース符号化フレームワークを提示する。これは、割引係数 θ ∈ (0,1) の下で成功送信確率を最大化することとしてモデル化される。この目的関数に対してハフマン符号化の一般化を適用し、Rényiの α-エントロピーを用いてより緊密な境界を導出する。また、アルファベット順序制約下での最適および近似解を得るための効率的な動的計画法と近似アルゴリズムを提示する。

ABSTRACT

A novel lossless source coding paradigm applies to problems in which a vital message needs to be transmitted prior to termination of communications, as in Alfréd Rényi’s secondhand account of an ancient siege in which information was obtained to prevent the fall of a fortress. Rényi told this story with reference to traditional prefix coding, in which the objective is minimization of expected codeword length. The goal of maximizing probability of survival in the siege scenario is distinct from yet related to this traditional objective. Rather than finding a code minimizing ∑n ∑ i=1 p(i)l(i), this variant involves maximizing n i=1 p(i)θl(i) for a given θ ∈ (0,1). A known generalization of Huffman coding solves this, and, for nontrivial θ (θ ∈ (0.5, 1)), the optimal solution has coding bounds which are functions of Rényi’s α-entropy for α = 1/log22θ> 1. A new improvement on known bounds is derived here. When alphabetically constrained, as in search trees and in diagnostic testing of sequential systems, a dynamic programming algorithm finds the optimal solution in O(n 3) time and O(n 2) space, whereas two novel approximation algorithms can find a suboptimal solution in linear time (for one) or O(n log n) time (for the other). These approximation algorithms, along with simple associated coding bounds, apply to both the siege scenario and a complementary problem.

研究の動機と目的

• 通信が終了する前に重要なメッセージを送信しなければならない状況における損失なしソース符号化を扱う。これは、Rényiのシージ物語に由来する。
• 期待符号語長の最小化とは異なる、割引係数 θ ∈ (0,1) の下で成功送信確率を最大化する新しい符号化目的関数を定式化する。
• α = 1/log₂(2θ) > 1 であるRényiの α-エントロピーに基づき、より緊密な符号長の境界を導出する。
• アルファベット順序制約下でこの問題を解くための効率的なアルゴリズム（動的計画法および近似法）を開発する。
• 順序付きシステムおよび検索木における広範な適用性を確保するため、このフレームワークを補完的問題へと拡張する。

提案手法

• 符号化目的関数を、p(i) が記号 i の確率で l(i) がその符号語長であるとき、∑ᵢ p(i)θ^l(i) を最大化することとして定式化する。ここで θ ∈ (0,1) である。
• 非自明な θ ∈ (0.5,1) に対して最適性を保証する、ハフマン符号化の既知の一般化を用いて最適化問題を解く。
• α = 1/log₂(2θ) > 1 であるRényiの α-エントロピーを用いて、符号長の新しい上界および下界を導出する。
• アルファベット順序制約下で、O(n³) 時間および O(n²) 空間で最適符号を計算する動的計画法を提案する。
• 2つの近似アルゴリズムを導入する：1つは O(n) 時間で実行され、もう1つは O(n log n) 時間で実行され、いずれも劣悪だが効率的な解を提供する。
• 符号長の境界および近似手法を、シージ状況および順序付きシステムにおける補完的問題の両方へ適用する。

実験結果

リサーチクエスチョン

• RQ1 プレフィックス符号化は、期待符号語長の最小化ではなく、早期成功送信確率を優先する形にどのように再構築できるか？
• RQ2 θ ∈ (0,1) を含む新しい目的関数に対して、符号長の最も緊密な境界は何か？
• RQ3 アルファベット順序制約下で最適解を効率的に計算できるか？その計算量の複雑度は？
• RQ4 解の品質と計算効率のバランスを取る近似アルゴリズムは存在するか？
• RQ5 導出された境界およびアルゴリズムは、シージ状況および順序付きシステムにおける補完的問題の両方へどの程度適用可能か？

主な発見

• 目的関数 ∑ᵢ p(i)θ^l(i) の最適符号は、θ ∈ (0.5,1) の範囲でハフマン符号化の一般化によって達成される。
• α = 1/log₂(2θ) > 1 であるRényiの α-エントロピーを用いて、既知の境界を改善するより緊密な符号長の境界が導出された。
• アルファベット順序制約下では、動的計画法により O(n³) 時間および O(n²) 空間で正確な解が計算可能である。
• 線形時間 O(n) の近似アルゴリズムが提案され、大規模なアルファベットに対して劣悪だが非常に効率的な解が得られる。
• O(n log n) 時間で実行されるもう1つの近似アルゴリズムも開発され、速度と解の品質のバランスを改善した。
• 提案された境界およびアルゴリズムは、シージ状況に限らず、順序付き診断テストおよび検索木における補完的問題に対しても適用可能である。