[論文レビュー] Large Alphabet Compression and Predictive Distributions through Poissonization and Tilting

Xiao Yang, Andrew R. Barron|arXiv (Cornell University)|Jan 15, 2014

Algorithms and Data Compression参考文献 10被引用数 4

ひとこと要約

本稿では、系列長が可変である大規模なアルファベット上でのi.i.d.系列のユニバーサルな圧縮および予測のためのポアソン化とチルティングに基づく手法を提案する。系列長Nをポアソン確率変数としてモデル化し、各記号の出現回数N_jを独立なポアソン分布で扱うことで、期待される最小最大リグレットを、アルファベット確率のモーメント制約を満たす分布のクラス内で達成する。また、エンvelopeクラスおよびパワー則分布を有するアルファベットに対して、明示的な冗長性の上限を導出する。

ABSTRACT

This paper introduces a convenient strategy for coding and predicting sequences of independent, identically distributed random variables generated from a large alphabet of size $m$. In particular, the size of the sample is allowed to be variable. The employment of a Poisson model and tilting method simplifies the implementation and analysis through independence. The resulting strategy is optimal within the class of distributions satisfying a moment condition, and is close to optimal for the class of all i.i.d distributions on strings of a given length. Moreover, the method can be used to code and predict strings with a condition on the tail of the ordered counts. It can also be applied to distributions in an envelope class.

研究の動機と目的

• 系列長が事前に固定されていない大規模なアルファベット上でのi.i.d.系列のユニバーサル符号化および予測戦略の開発を目的とする。
• 系列長Nが事前に不明な状況において、合計カウントNのポアソンモデルを導入することで、可変長文字列のユニバーサル符号化の課題に対処することを目的とする。
• アルファベット確率にモーメント条件を満たす分布のクラス内で最小最大リグレット性能を達成することを目的とする。
• 順序付きカウントの尾部に制約を課す場合や、エンvelopeクラスに属する分布に対して、この手法を拡張することを目的とする。
• 提案された符号化方式の冗長性について、理論的バウンドを提供することを目的とし、特にパワー則およびジプ法則に従う分布に対して注目する。

提案手法

• 系列長Nをポアソン確率変数としてモデル化し、記号カウントN_jの間の独立性を誘導する。
• 各記号カウントN_jをレートλ_jの独立したポアソン分布でモデル化し、N=nの下での条件付き分布が多項分布となるようにする。
• チルティングパラメータaを導入することで、ポアソンカウントに指数チルティングを適用し、エンvelope制約f(j)を満たすようにしたチルト分布P_a(N_j)を構築する。
• カウントが与えられたもとでの一様分布とチルトされたポアソンモデルを組み合わせることで、ユニバーサル符号Qを構築する。
• チルティングパラメータaを最適化することで、期待リグレット（冗長性）を最小化し、最適なa*の閉形式近似を導出する。
• スターリングの近似とチルト分布の正規化定数C_a,jの積分バウンドを用いて、リグレットのバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 系列長Nが事前に不明な状況において、大規模なアルファベット上でのi.i.d.系列に対してユニバーサル符号化方式を設計できるか？
• RQ2 Nが確率的である場合を含め、与えられた長さの系列におけるすべてのi.i.d.分布のクラス上で、最小最大リグレットをどのように最小化できるか？
• RQ3 アルファベット確率がパワー則またはジプの法則に従う場合、提案されたポアソン化およびチルティング手法の性能はいかほどか？
• RQ4 まれな記号の頻度を制限するなど、順序付きカウントの尾部に制約を課した場合、この手法はどのように動作するか？
• RQ5 λ_j ≤ n f(j) を満たすf(j)で定義されるエンvelopeクラスに属する分布に対して、この手法は近似的に最適な冗長性を達成できるか？

主な発見

• 提案手法は、モーメント条件を満たす分布のクラス内で最小最大リグレットを達成し、mおよびnに依存しない定数でリグレットがバウンドされる。
• エンvelopeクラスにおいて、チルティングパラメータaを最適に選択した場合、冗長性はO(1)でバウンドされ、スターリングの近似を用いて明示的な上界が導出される。
• リグレット式na log e + ∑ log C_a,j は、a* ≈ L / (2(n - ∑_{j>L} n f(j))) で最小化され、Lはf(j) > 0である記号の数である。
• 固定長の系列におけるi.i.i.d.分布に対して、この手法は近似的に最適な冗長性を達成し、理論的最小値に非常に近い。
• パワー則に従うアルファベットに対しては、チルトされたポアソンモデルとエンvelope制約のおかげで、低リグレットを維持する。
• 正規化定数C_a,jのバウンドはきつい：nf(j)が大きい場合、C_a,j ≤ 1 + 1/√(2πa) であり、nf(j)が小さい場合、C_a,j ≤ e^{n f(j)} である。これにより、リグレットの制御が有効に可能となる。