[論文レビュー] On principles of large deviation and selected data compression

Yuri Suhov, Izabella Stuhl|arXiv (Cornell University)|Apr 24, 2016

Wireless Communication Security Techniques参考文献 6被引用数 8

ひとこと要約

本稿は、大偏差原理を用いたユーティリティベースのデータ圧縮を組み込んだことで、シャノンのノイズレス符号化定理を拡張する。確率的枠組みを提案し、重み関数に基づく文字列選択によってストレージを最適化し、制約下でのエントロピー最小化により漸近的ストレージレートを導出する。主な結果として、エントロピーとユーティリティ制約を含む変分公式によって支配される、正確な漸近的体積増加率が得られる。

ABSTRACT

The Shannon Noiseless coding theorem (the data-compression principle) asserts that for an information source with an alphabet $\mathcal X=\{0,\ldots ,\ell -1\}$ and an asymptotic equipartition property, one can reduce the number of stored strings $(x_0,\ldots ,x_{n-1})\in {\mathcal X}^n$ to $\ell^{nh}$ with an arbitrary small error-probability. Here $h$ is the entropy rate of the source (calculated to the base $\ell$). We consider further reduction based on the concept of utility of a string measured in terms of a rate of a weight function. The novelty of the work is that the distribution of memory is analyzed from a probabilistic point of view. A convenient tool for assessing the degree of reduction is a probabilistic large deviation principle. Assuming a Markov-type setting, we discuss some relevant formulas, including the case of a general alphabet.

研究の動機と目的

• データ圧縮を、確率に基づく選択に加えてユーティリティ関数に基づく文字列選択を組み込むことで、効率的なストレージを実現する。
• 「価値のある」文字列（重み関数により重み付けされたもの）のみを格納するという制約付き最適化問題としてデータストレージをモデル化する。
• 大偏差理論を用いて、マルコフ連鎖およびi.i.d.ソースの文脈で、漸近的ストレージ体積を分析する。
• エントロピーおよびユーティリティ制約に基づいて、ストレージ削減の正確な漸近的レートを導出する。
• 標準のエントロピーに基づくアプローチを超えた、メモリ使用量最適化の確率的枠組みを提供する。

提案手法

• 文字列 $\mathbf{x}_{0}^{n-1} \in \mathcal{X}^n$ にユーティリティを割り当てる重み関数 $\phi_n(\mathbf{x}_{0}^{n-1})$ を用い、加法的および乗法的形の両方を区別する。
• 大偏差理論を用いて、確率測度 $p^{\rm{st}}_n$ の下での選択された文字列の体積の漸近的挙動を分析する。
• ユーティリティが閾値 $\eta$ を上回り、情報量が $h + \epsilon$ 以下である文字列の集合 $\mathcal{B}_n$ を定義する。ここで $h$ はエントロピー率である。
• 制約条件を満たす確率測度の集合上でのエントロピー関数 $H(\upsilon)$ の下界として、漸近的ストレージレート $\gamma(\epsilon,\eta)$ を導出する。
• 乗法的重み関数 $\phi_n(\mathbf{x}) = \prod_{i=0}^{n-1} \psi(x_i)$ の場合、変分公式における $\varphi$ を $\log \psi$ に置き換える。
• 大偏差原理を用いて、典型集合の確率の指数的減衰率を特徴づけ、エントロピー率およびユーティリティ制約と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 文字列が確率だけでなくユーティリティ関数に基づいて選択される場合、どのようにデータ圧縮を最適化できるか？
• RQ2 与えられた閾値 $\eta$ を上回るユーティリティを持つすべての文字列を格納するために必要な漸近的ストレージ体積は何か？
• RQ3 大偏差原理が、ユーティリティ制約下でのストレージ削減の正確な漸近的レートを導出するのをどのように可能にするか？
• RQ4 エントロピー率 $h$ と重み関数 $\varphi$ は、最小達成可能ストレージ体積を決定づける役割を果たすか？
• RQ5 i.i.d. またはマルコフ連鎖のソースの場合、ストレージレートの変分公式は簡略化可能か？

主な発見

• ユーティリティが少なくとも $\eta$ で、情報量が $h + \epsilon$ 以下の文字列の漸近的ストレージレートは、$\gamma(\epsilon, \eta) = \inf \{ H(\upsilon) : \upsilon \in A \}$ で与えられる。ここで $A$ はユーティリティおよびエントロピー制約を満たす確率測度の集合である。
• i.i.d. ソースの場合、ストレージレートは $\gamma(\epsilon, \eta) = \inf \{ H(\upsilon) : \upsilon \in D \}$ に簡略化され、$D$ は $\varphi = \log \psi$ および $-\int \log p^{\rm{so}}(x) \, \upsilon(dx) \leq h + \epsilon$ の積分制約によって定義される。
• 選択された文字列の体積 $v_n = \nu^n(\mathcal{B}_n)$ に対して、$\lim_{n \to \infty} \frac{1}{n} \log v_n = \gamma({\tt P}^{\rm{so}}, \epsilon, \eta)$ が成り立ち、ストレージ削減の指数的レートが裏付けられる。
• 乗法的重み関数 $\phi_n(\mathbf{x}) = \prod \psi(x_i)$ の場合、ストレージレートは $\iota({\tt P}^{\rm{so}}, \epsilon, \eta)$ となり、同じ変分公式が得られるが、$\varphi$ が $\log \psi$ に置き換えられる。
• エントロピー関数 $H(\mu)$ は凹関数であり、制約集合 $D$ は凸集合であるため、特定の条件下で最小化子の一意性が期待できる。
• 本フレームワークは、ユーティリティの組み込みにより、シャノンのノイズレス符号化定理を拡張し、証明可能な漸近的効率性を持つ選択的データ圧縮の原理的アプローチを可能にする。