[論文レビュー] On redundancy of memoryless sources over countable alphabets

Maryam Hosseini, Narayana Santhanam|arXiv (Cornell University)|Mar 31, 2014

Algorithms and Data Compression参考文献 6被引用数 3

ひとこと要約

本稿は、可算無限のアルファベット上での記憶なしソースからの普遍的圧縮の冗長性を調査し、i.i.d.系列の長さが増加するにつれて、符号ごとの冗長性がゼロに減少する条件を確立する。有限の1文字冗長性が符号ごとの冗長性の減少を保証しないこと、および分布の尾部挙動を含む十分条件が冗長性の非線形増加を保証することを示し、大アルファベットにおける推定および圧縮理論の主要なギャップを解消する。

ABSTRACT

The minimum average number of bits need to describe a random variable is its entropy, assuming knowledge of the underlying statistics On the other hand, universal compression supposes that the distribution of the random variable, while unknown, belongs to a known set $\cal P$ of distributions. Such universal descriptions for the random variable are agnostic to the identity of the distribution in $\cal P$. But because they are not matched exactly to the underlying distribution of the random variable, the average number of bits they use is higher, and the excess over the entropy used is the "redundancy". This formulation is fundamental to problems not just in compression, but also estimation and prediction and has a wide variety of applications from language modeling to insurance. In this paper, we study the redundancy of universal encodings of strings generated by independent identically distributed (iid) sampling from a set $\cal P$ of distributions over a countable support. We first show that if describing a single sample from $\cal P$ incurs finite redundancy, then $\cal P$ is tight but that the converse does not always hold. If a single sample can be described with finite worst-case-regret (a more stringent formulation than redundancy above), then it is known that length-$n$ iid samples only incurs a diminishing (in $n$) redundancy per symbol as $n$ increases. However, we show it is possible that a collection $\cal P$ incurs finite redundancy, yet description of length-$n$ iid samples incurs a constant redundancy per symbol encoded. We then show a sufficient condition on $\cal P$ such that length-$n$ iid samples will incur diminishing redundancy per symbol encoded.

研究の動機と目的

• 可算無限のアルファベット上での記憶なしソースからのi.i.d.系列の普遍的圧縮が、系列長が増加するにつれて符号ごとの冗長性がどのようにしてゼロに減少するかの条件を理解すること。
• 有限の1文字冗長性と長系列における冗長性の漸近的挙動との関係を明確にすること。
• 冗長性の非線形増加を保証する分布クラスに関する十分条件を提供し、高次元または無限アルファベット設定における効果的な圧縮および推定を可能にすること。
• 強力な冗長性やパターンベースの圧縮といった既存の定式化の限界を、データに由来する一貫性とモデル固有の冗長性の減少率に焦点を当てることで是正すること。

提案手法

• 系列を尾部確率とエントロピー寄与度に基づいて「良い」集合と「悪い」集合に分解し、系列長jに対してlog(j)/jから導かれる閾値を用いる。
• 「良い」と「悪い」集合における冗長性を別々にバインドする普遍的符号化方式を適用し、モデルクラス全体にわたる一様バインドを活用する。
• 個々の分布質量の上界の上限から構築された基準分布q(n)を用いて、KLダイバージェンスをバインドし、有限の1文字冗長性を保証する。
• 小確率尾部におけるp(x)log(1/p(x))の和を含む重要な不等式を用い、この和がδ→0のとき消えるならば冗長性が減少することを示す。
• 尾部エントロピーが消える条件と尾部KLダイバージェンスが消える条件の2つの異なる状況下での冗長性の挙動を分析し、それらが同等でないことを示す。
• 具体的な反例（例：クラス𝒰）を構築し、両条件が互いに包含関係にないことを示し、両条件が非線形冗長性増加と共存しうることを示す。

実験結果

リサーチクエスチョン

• RQ1 可算無限のアルファベット上での分布クラスに対して、i.i.d.系列の符号ごとの冗長性が系列長の増加に伴いゼロに減少する条件は何か？
• RQ2 有限の1文字冗長性（クラス上）が長系列における符号ごとの冗長性の減少を保証するか。そうでない場合、追加的に必要な条件は何か？
• RQ3 有限の1文字冗長性を持つ分布クラスが、長大なi.i.d.系列においても一定の符号ごとの冗長性を有する可能性はあり、そのような挙動はどのように特徴づけられるか？
• RQ4 冗長性の非線形増加を保証する分布の尾部挙動に関する十分条件は存在するか。また、強力な冗長性やパターンベースの圧縮といった既存の定式化とどう関係するか？
• RQ5 符号ごとの冗長性の減少のための条件は、必要かつ十分であるか。それとも、現在の特徴づけにはギャップが存在するか？

主な発見

• 有限の1文字冗長性は符号ごとの冗長性の減少を保証しない。長系列においても一定の符号ごとの冗長性を有する有限の1文字冗長性を持つクラスが存在する。
• 符号ごとの冗長性が減少するための十分条件は、クラス上でのT_{p,δ}の尾部におけるp(x)log(1/p(x))の和の上界がδ→0のときゼロに近づくことである。
• 0に大きなアトムと2^{k²}個の記号に一様に質量を配分する分布p_kから構築されたクラス𝒰は、有限の1文字冗長性を持つが、尾部エントロピーが消える条件を満たさない。
• クラス𝒰においては尾部エントロピーの和がゼロから離れて保たれるが、長さnの冗長性は非線形に増加する。これは、十分条件が必ずしも必要ではないことを示している。
• 本稿では、尾部エントロピーの和がゼロから離れているが、尾部KLダイバージェンスの和が消えるクラスを構築し、両条件が独立であることを示している。
• 結果として、強力な冗長性やパターンベースの圧縮といった既存の定式化は、高次元または無限アルファベット設定における冗長性の微妙な挙動を捉えていないことが示され、データに由来する一貫性とモデル固有の収束速度に基づく新たな特徴づけの必要性が示唆される。