[論文レビュー] Benefiting from Disorder: Source Coding for Unordered Data

Lav R. Varshney, Vivek K Goyal|ArXiv.org|Aug 17, 2007

Algorithms and Data Compression参考文献 54被引用数 3

ひとこと要約

この論文は、順序なしデータのためのソース符号化を調査し、順序付きデータ（系列）ではなく多重集合（順序なしの集合）として扱うことで、大幅なレート削減が可能であることを示している。損失なし符号化では、レートが O(n) から Θ(log n) に低下し、損失あり符号化では、弱いモーメント条件の下でゼロレートでも任意に小さい歪みを達成可能であり、順序の無関係性が符号化の複雑さを根本的に低減することを示している。

ABSTRACT

The order of letters is not always relevant in a communication task. This paper discusses the implications of order irrelevance on source coding, presenting results in several major branches of source coding theory: lossless coding, universal lossless coding, rate-distortion, high-rate quantization, and universal lossy coding. The main conclusions demonstrate that there is a significant rate savings when order is irrelevant. In particular, lossless coding of n letters from a finite alphabet requires Theta(log n) bits and universal lossless coding requires n + o(n) bits for many countable alphabet sources. However, there are no universal schemes that can drive a strong redundancy measure to zero. Results for lossy coding include distribution-free expressions for the rate savings from order irrelevance in various high-rate quantization schemes. Rate-distortion bounds are given, and it is shown that the analogue of the Shannon lower bound is loose at all finite rates.

研究の動機と目的

• 順序の無関係性が、損失なしおよび損失あり符号化、ユニバーサル符号化、レート歪み理論を含む複数の分野におけるソース符号化に与える影響を分析すること。
• ソースデータが系列ではなく多重集合として扱われる場合に達成可能なレート削減を定量化すること、特に高レートおよび高次元設定において。
• 順序なしデータのユニバーサル符号化における冗長性の理論的限界を確立し、強力な冗長性削減が達成できないことを示すこと。
• データベース圧縮、分散推論、量子統計力学などの応用分野における実用的意味を検討すること。

提案手法

• 損失なし符号化において、置換不変な同値類を用いて、イベント代数を再定義し、多重集合を基本的なソース対象として扱う。
• 組合せ論的およびエントロピーに基づく解析を用いて、多重集合の損失なし符号化のレートバウンドを導出し、有限アルファベットでは Θ(log n) ビットであることを示す。
• 置換不変性を持つ忠実度基準を導入し、順序の無関係性下での損失あり符号化をモデル化し、単一記号特徴付けを回避する。
• 高レート量子化解析を用いて、ブロックサイズ K に対して、形状と記憶の利点により、スカラ量子化と比較して log K! ビットのレート削減が可能であることを示す。
• レート歪みバウンドを導出し、順序の無関係性下では、すべての有限レートにおいてシャノン下界が緩いことを証明する。
• ボーズ＝アインシュタイン統計やモービウス多項式を含む、統計物理学および組合せ論の道具を用い、同一視可能性と交換クラスをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータが順序付きではなく順序なしとして扱われる場合に、どの程度の根本的なレート削減が達成可能か？
• RQ2 順序の無関係性があるにもかかわらず、ユニバーサル符号化スキームが、強力な冗長性を無視できるほどに低減できるか？
• RQ3 順序の無関係性下で、損失あり符号化がどの程度ゼロレートで任意に小さな歪みを達成できるか？
• RQ4 量子化に形状と記憶を組み込むと、順序の無関係性下でどの程度レート削減が達成できるか？
• RQ5 なぜ順序の無関係性下では、シャノン下界がレート歪み関数においてタイトでないのか？

主な発見

• 有限アルファベットからの n 文字の損失なし符号化では、順序の無関係性があると、標準的符号化の O(n) から比べて Θ(log n) ビットにまでレートが低下する。
• 多くの可算アルファベット源のユニバーサル損失なし符号化には n + o(n) ビットで十分であり、順序が重要である場合に必要な cn ビットよりも顕著に少ない。
• 順序の無関係性下では、いかなるユニバーサル符号化スキームでも、強力な冗長性測度をゼロにまで引き下げることはできない。
• 1文字あたりの MSE 歪みを伴う損失あり符号化では、ソース分布の弱いモーメント条件の下で、n → ∞ のときゼロレートでも平均二乗誤差を任意に小さくできる。
• サイズ K のブロックの高レート量子化では、形状と記憶の利点により、スカラ量子化と比較して log K! ビットのレート削減が達成できる。
• 完全な log K! ビットのレート削減は、レートが無限大に近づく極限でのみ達成可能であり、有限レートでは達成できない。これは、レート歪み性能における根本的なトレードオフを示している。