[論文レビュー] Results on the Fundamental Gain of Memory-Assisted Universal Source Coding

Ahmad Beirami, Mohsen Sardari+1 more|arXiv (Cornell University)|May 19, 2012

Algorithms and Data Compression参考文献 11被引用数 4

ひとこと要約

本稿では、事前に記憶された系列を活用して有限長データ圧縮における冗長性を低減するメモリ支援型ユニバーサルソース符号化を提案する。コンテキスト記憶と化合物ソースにおけるMDLに基づくクラスタリングを組み合わせることで、特に短〜中程度の系列長において、従来のユニバーサル圧縮法に比べて最大6倍の性能向上を達成する。

ABSTRACT

Many applications require data processing to be performed on individual pieces of data which are of finite sizes, e.g., files in cloud storage units and packets in data networks. However, traditional universal compression solutions would not perform well over the finite-length sequences. Recently, we proposed a framework called memory-assisted universal compression that holds a significant promise for reducing the amount of redundant data from the finite-length sequences. The proposed compression scheme is based on the observation that it is possible to learn source statistics (by memorizing previous sequences from the source) at some intermediate entities and then leverage the memorized context to reduce redundancy of the universal compression of finite-length sequences. We first present the fundamental gain of the proposed memory-assisted universal source coding over conventional universal compression (without memorization) for a single parametric source. Then, we extend and investigate the benefits of the memory-assisted universal source coding when the data sequences are generated by a compound source which is a mixture of parametric sources. We further develop a clustering technique within the memory-assisted compression framework to better utilize the memory by classifying the observed data sequences from a mixture of parametric sources. Finally, we demonstrate through computer simulations that the proposed joint memorization and clustering technique can achieve up to 6-fold improvement over the traditional universal compression technique when a mixture of non-binary Markov sources is considered.

研究の動機と目的

• 有限長系列におけるユニバーサル圧縮の根本的性能ギャップ（内在的冗長性に起因）を解消すること。
• 中間ノードでソース統計を記憶することで、従来のユニバーサル圧縮に比べて根本的な性能向上が得られるかを調査すること。
• パラメトリックモデルの混合（化合物ソース）としてのソースを効果的に活用するためのクラスタリング技術を開発すること。
• メモリ支援圧縮における共同記憶とクラスタリングの理論的・実用的利得を特定すること。
• 有限長シナリオにおける圧縮効率向上に寄与する高速なMDLベースのクラスタリングアルゴリズムの有効性を実証すること。

提案手法

• 中間ノードが過去の系列を記憶することで、新たな系列の圧縮を支援するメモリ支援型ユニバーサルソース符号化フレームワークを提案する。
• 現実のコンテンツ生成者を反映させるために、ソースをパラメトリックソース（例：マルコフソース）の混合としてモデル化する。
• 類似した系列を効率的にコンテキスト学習できるよう、最小記述長（MDL）原理に基づくクラスタリングアルゴリズムを導入する。
• クラスタ間の系列入れ替えを繰り返し行い、合計記述長を最小化することで、圧縮効率を向上させる。
• ユニバーサル圧縮にコンテキストツリー加重（CTW）を適用し、複数回の実行において性能を評価する。
• 化合物ソースにおける記憶利得の理論的下界を導出し、シミュレーションにより検証する。

実験結果

リサーチクエスチョン

• RQ1 同じソースからの過去の系列を記憶することで、有限長系列のユニバーサル圧縮において根本的な利得が得られるか？
• RQ2 系列長 $n$ とメモリサイズ $m$ に応じて、記憶利得はどのように変化するか？
• RQ3 化合物ソースにおいて、記憶とクラスタリングを併用した場合の性能向上は、クラスタリングなしの記憶に比べてどの程度か？
• RQ4 メモリ支援型ソース符号化における圧縮利得を最大化するために、どのようにクラスタリングを実現すべきか？
• RQ5 MDLベースのクラスタリングは、最適な共同記憶とクラスタリング利得をどの程度近似できるか？

主な発見

• 単一のパラメトリックソースの場合、記憶により顕著な利得が得られ、$n = 128$ kB および $m = 8$ MB の条件下で圧縮レートが50%以上向上した。
• 理論的分析により、$n \to \infty$ に近づくと記憶利得が減少し、漸近的状態では0に近づくことが示された。
• 非二値マルコフソースが $\/mathcal{K} = 10$ 個存在する化合物ソースにおいて、記憶とクラスタリングを併用することで、従来のユニバーサル圧縮に比べ最大6倍の性能向上を達成した。
• MDLベースのクラスタリングは、最適な共同記憶とクラスタリング利得を非常に良く近似しており、テストされた系列長の範囲で $g_{\text{MDL}}$ が $g_{\text{CM}}$ の0.94～0.998の範囲内に収束した。
• クラスタリングなしでは、メモリ支援型圧縮が従来のユニバーサル圧縮よりも劣ることがあり、化合物ソースではクラスタリングの必要性が裏付けられた。
• シミュレーション結果から、$n = 100$ KB および $m = 10$ MB の条件下で $g_{\text{MDL}} = 1.8862$ に達したことが示され、中程度の系列長でも顕著な性能向上が得られることを示した。