[論文レビュー] Sparse Sequential Dirichlet Coding

Joel Veness, Marcus Hütter|arXiv (Cornell University)|Jun 16, 2012

Algorithms and Data Compression参考文献 2被引用数 4

ひとこと要約

この論文は、使用されるアルファベット記号の小さな未知のサブセットしか現れないことが予想される無記憶ソースの符号化において、計算的に効率的な方法であるスパース逐次ディリクレ符号化（SSDC）を紹介する。SSDCは、最適な逐次サブアルファベット推定器に近い再冗長性を達成するが、1記号あたりO(1)の時間とO(|A|)の記憶領域を必要とし、全アルファベットを用いた標準的な逐次ディリクレ符号化よりも優れており、実用的にはより複雑な逐次サブアルファベット手法と同等またはわずかに優れている。

ABSTRACT

This short paper describes a simple coding technique, Sparse Sequential Dirichlet Coding, for multi-alphabet memoryless sources. It is appropriate in situations where only a small, unknown subset of the possible alphabet symbols can be expected to occur in any particular data sequence. We provide a competitive analysis which shows that the performance of Sparse Sequential Dirichlet Coding will be close to that of a Sequential Dirichlet Coder that knows in advance the exact subset of occurring alphabet symbols. Empirically we show that our technique can perform similarly to the more computationally demanding Sequential Sub-Alphabet Estimator, while using less computational resources.

研究の動機と目的

• 全アルファベットXが、実際のシーケンスで使用される記号集合Aよりもはるかに大きい場合に、逐次ディリクレ符号化の非効率性に対処すること。
• 逐次サブアルファベット推定器（1記号あたりO(|X|)の時間と記憶領域を要する）と比較して、計算コストと記憶領域の使用量を削減すること。
• |A| ≪ |X| の状況でも再冗長性を低く保てる符号化手法を設計し、事前にAを知っているオラクルの性能に近づけること。
• 文脈ベースの圧縮のような、アルファベットのスパarsityが一般的な応用分野における、逐次サブアルファベット推定器の実用的代替手段を提供すること。

提案手法

• 本手法は、シーケンス内で実際に観測された記号のみを追跡するスパース表現を用い、効率的な確率推定のためのカウントと一意な記号集合U(x< i)を維持する。
• 条件付き確率には、未観測記号に対する一様事前分布（重みαi）と、観測済み記号に対するディリクレ推定器（重み1−αi）の2つの要素を組み合わせる。
• 確率モデルは ξ(x1:n) = ∏i=1n [𝕀[c(x1:i)=0] αi / (|X|−|U(x< i)|) + 𝕀[c(x1:i)>0] (1−αi) (c(x1:i)+½)/(i + |U(x< i)|/2 −1) ] で定義され、適応的でスパースな計算を可能にする。
• アルゴリズムは、未観測記号に対する一様性と、既に観測された記号に対する正確な推定のバランスを取るために、重みαiを動的に調整し、再冗長性を低く保つ。
• ハッシュテーブルや同様の構造を用いてカウントと一意な記号を格納し、1記号あたり平均O(1)の時間で更新を実現する。
• 再冗長性においては逐次サブアルファベット推定器と同等の性能を達成する一方で、はるかに低い時間的・記憶的複雑度を実現する。

実験結果

リサーチクエスチョン

• RQ1 |A| ≪ |X| の場合に、1記号あたりO(|A|)の時間と記憶領域で動作し、逐次サブアルファベット推定器に近い再冗長性を達成できる符号化手法を設計できるか？
• RQ2 |A| ≪ |X| の場合に、全アルファベットXを用いた標準的な逐次ディリクレ符号化と比較して、本手法が優れているか？
• RQ3 SSDCの性能は、より複雑な逐次サブアルファベット推定器と比較して、符号長と再冗長性の観点でどの程度か？
• RQ4 |A| ≪ |X| のスパarsity仮定が成り立たない状況でも、SSDCは頑健か？

主な発見

• |A|=5 かつ |X|=26 の場合、SSDCは平均で逐次サブアルファベット推定器よりも1.41ビット少ない符号長を使用し、最大差は0.37ビットであった。
• |A|=10 かつ |X|=256 の場合、SSDCは平均で逐次サブアルファベット推定器よりも1.30ビット少ない符号長を使用し、最大差は1.32ビットであった。
• |A|=5 かつ |X|=26 の場合、全アルファベットXを用いた逐次ディリクレ符号化は平均で42.4ビット多く使用しており、SSDCは著しく優れていた。
• |A|=18 かつ |X|=26 の場合、スパarsity仮定が成り立たなかったが、SSDCは平均で逐次サブアルファベット推定器よりも13.23ビット多く使用しており、|A|が|X|に対して小さくない場合には性能が劣化することが示された。
• すべてのテストケースにおいて、SSDCは逐次サブアルファベット推定器を5.77ビット以上下回ることはなく、ほとんどの場合わずかに優れていた。
• スパースな状況において、SSDCは最適なオラクルとsdc(A)に近い再冗長性を達成し、強力な実用的性能を示した。