[論文レビュー] On Lossless Universal Compression of Distributed Identical Sources

Ahmad Beirami, Faramarz Fekri|arXiv (Cornell University)|Jun 19, 2012

Wireless Communication Security Techniques参考文献 15被引用数 5

ひとこと要約

本稿では、符号化器同士が通信できない状況下で、空間的に分離された同一の2つのソースから得られる有限長シーケンスのロスレス圧縮を目的とした、Universal Compression of Distributed Identical Sources (UC-DIS) フレームワークを提案する。デコーダーが1つのソースからの記憶済みシーケンスにアクセス可能なことを活用し、パラメータ推定と楕円体符号化を用いることで、従来のユニバーサル圧縮でさえも厳密な性能向上を達成する DUCompM 符号化戦略を提案する。デコーダーに無限の記憶容量がある場合ですら、符号化器間の通信が不可能な状況では依然として性能劣化が生じることを示している。

ABSTRACT

Slepian-Wolf theorem is a well-known framework that targets almost lossless compression of (two) data streams with symbol-by-symbol correlation between the outputs of (two) distributed sources. However, this paper considers a different scenario which does not fit in the Slepian-Wolf framework. We consider two identical but spatially separated sources. We wish to study the universal compression of a sequence of length $n$ from one of the sources provided that the decoder has access to (i.e., memorized) a sequence of length $m$ from the other source. Such a scenario occurs, for example, in the universal compression of data from multiple mirrors of the same server. In this setup, the correlation does not arise from symbol-by-symbol dependency of two outputs from the two sources. Instead, the sequences are correlated through the information that they contain about the unknown source parameter. We show that the finite-length nature of the compression problem at hand requires considering a notion of almost lossless source coding, where coding incurs an error probability $p_e(n)$ that vanishes with sequence length $n$. We obtain a lower bound on the average minimax redundancy of almost lossless codes as a function of the sequence length $n$ and the permissible error probability $p_e$ when the decoder has a memory of length $m$ and the encoders do not communicate. Our results demonstrate that a strict performance loss is incurred when the two encoders do not communicate even when the decoder knows the unknown parameter vector (i.e., $m o \infty$).

研究の動機と目的

• 符号化器同士が通信できない状況下で、空間的に分離された2つの同一ソースから得られる有限長シーケンスの圧縮に直面する課題に対処すること。
• シンボルごとの依存関係ではなく、共有される未知のソースパラメータを通じて相関をモデル化すること。
• ユニバーサル圧縮において、デコーダー側のトレーニングデータ（記憶済みシーケンス）がもたらす性能向上を定量化すること。
• 有限長制約下でのほぼロスレス圧縮におけるミニマックス冗長性の境界を導出すること。
• 通信のない符号化器であっても、デコーダー側の情報が、漸近的にも利益をもたらすかどうかを示すこと。

提案手法

• デコーダーが1つのソースからの記憶済みシーケンスにアクセス可能なことを活用し、別のソースからの新しいシーケンスの圧縮における冗長性を低減する新しい符号化戦略 DUCompM を提案する。
• 未知のソースパラメータを最尤推定（MLE）を用いてモデル化し、MLEの平均とフィッシャー情報量の逆行列をスケーリング因子とするガウス分布で後験分布を近似する。
• 集合 $\mathcal{S}_n(y^m, p_e)$ を、MLE推定値 $\hat{\theta}_Y$ の下で、後験確率の少なくとも $1 - p_e$ をカバーする最小のレベーグ体積の楕円体として定義する。
• 不完全ガンマ関数を用いて、許容誤差確率 $p_e$ に基づき楕円体の境界を定義する閾値 $\delta_d(p_e)$ を決定する。
• ジェフリーズの事前分布を用いて、楕円体の確率測度 $P_{\mathcal{S}}(p_e)$ を計算し、この符号化戦略による冗長性低減の程度を定量化する。
• 楕円体の対数測度を分析することで、平均ミニマックス冗長性の上界を導出し、$-\log P_{\mathcal{S}}(p_e)$ に比例する低減が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 空間的に分離された同一のソースから得られる記憶済みシーケンスへのデコーダーのアクセスは、新しいシーケンスのユニバーサル圧縮における冗長性を低減できるか？
• RQ2 符号化器間の通信が存在しない場合、有限長ユニバーサル圧縮においてもデコーダー側のトレーニングデータによる性能向上が達成可能か？
• RQ3 符号化器間の通信がなく、デコーダー側に情報がある状況下で、冗長性低減の根本的限界は何か？
• RQ4 有限長および誤差確率制約下で、提案された DUCompM 戦略の性能は、従来のユニバーサル圧縮方式と比べてどの程度優れているか？
• RQ5 符号化器が通信を行わない場合、デコーダーが他のソースのシーケンスを無限に記憶しているとしても、厳密な性能劣化が生じるか？

主な発見

• DUCompM 符号化戦略は、同一ソースからの記憶済みシーケンスへのデコーダーのアクセスを活用することで、平均ミニマックス冗長性を顕著に低減する。
• 冗長性低減は、シーケンス長 $n$ と $m$、誤差確率 $p_e$、フィッシャー情報量に依存する楕円体符号化集合の確率測度 $P_{\mathcal{S}}(p_e)$ によって定量化される。
• 冗長性低減の境界は $-\log P_{\mathcal{S}}(p_e) \propto \frac{d}{2} \log \left( \frac{1}{p_e} \right)$ のスケーリングに従い、誤差確率と次元数が性能に直接影響することが示された。
• $m \to \infty$ の極限においても、符号化器間の通信がなければ依然として厳密な性能劣化が生じるため、分散符号化のコストをデコーダー側の情報だけでは完全に相殺できないことが示された。
• 有限長設定で妥当な誤差確率を想定した場合、提案手法は従来のユニバーサル圧縮をはるかに上回り、DUCompM の実用的有用性が裏付けられた。
• MLE とフィッシャー情報量に基づく楕円体符号化戦略は、この分散環境下での冗長性低減に対して、近似的最適かつ情報理論的に根拠のあるアプローチを提供する。