[論文レビュー] Memory-Assisted Universal Source Coding

Ahmad Beirami, Faramarz Fekri|arXiv (Cornell University)|Jan 10, 2012

Algorithms and Data Compression参考文献 2被引用数 6

ひとこと要約

本稿では、事前コンテキスト記憶を持つリレーノードが圧縮冗長性を低減するメモリ支援型ユニバーサルソース符号化を提案する。共有コンテキストをメモリユニットから活用することで、従来のユニバーサル符号化に比べ最大50%の向上を達成し、十分なメモリを備えた場合にエントロピー率に近づく。特に、8MBのメモリを備えた128kBの1次マルコフ源のようなシーケンスに対して特に有効である。

ABSTRACT

The problem of the universal compression of a sequence from a library of several small to moderate length sequences from similar context arises in many practical scenarios, such as the compression of the storage data and the Internet traffic. In such scenarios, it is often required to compress and decompress every sequence individually. However, the universal compression of the individual sequences suffers from significant redundancy overhead. In this paper, we aim at answering whether or not having a memory unit in the middle can result in a fundamental gain in the universal compression. We present the problem setup in the most basic scenario consisting of a server node $S$, a relay node $R$ (i.e., the memory unit), and a client node $C$. We assume that server $S$ wishes to send the sequence $x^n$ to the client $C$ who has never had any prior communication with the server, and hence, is not capable of memorization of the source context. However, $R$ has previously communicated with $S$ to forward previous sequences from $S$ to the clients other than $C$, and thus, $R$ has memorized a context $y^m$ shared with $S$. Note that if the relay node was absent the source could possibly apply universal compression to $x^n$ and transmit to $C$ whereas the presence of memorized context at $R$ can possibly reduce the communication overhead in $S$-$R$ link. In this paper, we investigate the fundamental gain of the context memorization in the memory-assisted universal compression of the sequence $x^n$ over conventional universal source coding by providing a lower bound on the gain of memory-assisted source coding.

研究の動機と目的

• 圧縮チェーン内にメモリユニットを設けることで、ユニバーサルソース符号化における冗長性を根本的に低減できるかを調査すること。
• サーバ、リレーノード、クライントリオの3ノードネットワークにおいて、コンテキスト記憶の有無を比較したユニバーサル符号化を実施すること。
• 従来のユニバーサル符号化と比較して、コンテキスト記憶が圧縮長をどの程度短縮できるかを定量的に評価すること。
• パラメトリックソースモデルとジェファリーズの事前分布を用いて、性能向上の理論的限界を確立すること。

提案手法

• サーバ（S）、メモリを備えたリレーノード（R）、クライントリオ（C）の3ノードモデルを導入し、Rは以前の伝送からコンテキストシーケンス ym を記憶する。
• 2つの方式を定義：Ucomp（コンテキスト記憶なし）とUcompM（RおよびSでコンテキスト記憶あり）。
• 真のパラメータθにおける期待圧縮長を比較するため、比 Q(ln, ln|m, θ) = E[ln(Xn)] / E[ln|m(Xn)] を用いる。
• パラメトリックソースにおける不確実性をモデル化するため、d次元パラメータベクトルθにジェファリーズの事前分布を適用する。
• ミニマックス冗長性と新規の冗長性項 ˆR(n, m) を用いて、基本的利得 g(n, m, ǫ) の下界を導出する。
• 漸近的解析を組み込み、メモリサイズ m の増加に伴いエントロピー率に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 圧縮チェーン内にメモリユニットを設けることで、ユニバーサルソース符号化における冗長性を根本的に低減できるか？
• RQ2 標準的なユニバーサル符号化と比較して、記憶されたコンテキストを用いることで、圧縮効率にどの程度の理論的最大利得が得られるか？
• RQ3 メモリサイズ（m）とシーケンス長（n）の両方が、達成可能な圧縮利得にどのように影響するか？
• RQ4 メモリ支援符号化は、どの程度ソースのエントロピー率に近づけるか？

主な発見

• 提案されたメモリ支援方式 UcompM は、128kB の1次マルコフシーケンスに 8MB のメモリを用いた場合、従来の Ucomp に比べて50%を超える圧縮利得を達成する。
• 基本的利得 g(n, m, ǫ) は、1 + (¯Rn + log(ǫ) − ˆR(n, m)) / (Hn(θ) + ˆR(n, m)) + O(1/(n√m)) で下界が保証され、冗長性とメモリサイズに依存することが示された。
• 十分なメモリサイズ m を備えた場合、圧縮長はエントロピー率 Hn(θ) に近づくため、近似的に最適な性能を示す。
• n と m が実用的なデータ転送範囲にある場合、中程度のメモリサイズに対しても定量的な利得が顕著に現れる。
• ジェファリーズの事前分布のもとで理論的限界は成立し、未知パラメータの非情報的かつ客観的なモデル化を保証する。
• 本手法は、インターネットトラフィックやストレージシステムなどの実世界のシナリオにおいて、コンテキスト記憶による通信オーバーヘッドの顕著な削減が可能であることを示している。