[論文レビュー] Source Coding, Large Deviations, and Approximate Pattern Matching

Amir Dembo, Ioannis Kontoyiannis|ArXiv.org|Mar 2, 2001

Algorithms and Data Compression参考文献 79被引用数 6

ひとこと要約

本稿は、大偏差理論を用いて、損失ありデータ圧縮のためのレート・ディストーション理論とパターンマッチングアルゴリズムを統一・一般化する損失あり版の漸近的等確率性定理（AEP）を開発する。独立同分布および stationarity な過程に対して一般化されたAEPを確立し、2次コーディング定理を証明し、待ち時間、一致長、球被覆指数を特徴づけ、Lempel-Ziv型損失あり圧縮方式および不一致コードブックの正確な漸近的挙動を分析するための厳密な基礎を提供する。

ABSTRACT

We present a development of parts of rate-distortion theory and pattern- matching algorithms for lossy data compression, centered around a lossy version of the Asymptotic Equipartition Property (AEP). This treatment closely parallels the corresponding development in lossless compression, a point of view that was advanced in an important paper of Wyner and Ziv in 1989. In the lossless case we review how the AEP underlies the analysis of the Lempel-Ziv algorithm by viewing it as a random code and reducing it to the idealized Shannon code. This also provides information about the redundancy of the Lempel-Ziv algorithm and about the asymptotic behavior of several relevant quantities. In the lossy case we give various versions of the statement of the generalized AEP and we outline the general methodology of its proof via large deviations. Its relationship with Barron's generalized AEP is also discussed. The lossy AEP is applied to: (i) prove strengthened versions of Shannon's source coding theorem and universal coding theorems; (ii) characterize the performance of mismatched codebooks; (iii) analyze the performance of pattern- matching algorithms for lossy compression; (iv) determine the first order asymptotics of waiting times (with distortion) between stationary processes; (v) characterize the best achievable rate of weighted codebooks as an optimal sphere-covering exponent. We then present a refinement to the lossy AEP and use it to: (i) prove second order coding theorems; (ii) characterize which sources are easier to compress; (iii) determine the second order asymptotics of waiting times; (iv) determine the precise asymptotic behavior of longest match-lengths. Extensions to random fields are also given.

研究の動機と目的

• 大偏差理論の下で一般化AEPを定式化することで、損失あり圧縮における漸近的等確率性定理（AEP）を拡張すること。
• ランダムコーディングと典型集合の議論を用いて、損失ありパターンマッチングアルゴリズム（Lempel-Ziv方式を含む）を分析する理論的基盤を提供すること。
• 損失ありソースコーディング、待ち時間、一致長の2次漸近的挙動を導出し、1次結果を精緻化すること。
• 重み付きコードブックにおける最適な球被覆指数の観点から、不一致コードブックの性能を特徴づけること。
• 空間的過程に対して枠組みを拡張し、空間的過程における1次および2次結果を確立すること。

提案手法

• 大偏差理論を用いて損失あり圧縮のための一般化AEPを定式化し、対数確率密度がエントロピー歪みレートに確率的に収束することを証明する。
• 一般化AEPをランダムコードおよび不一致コードブックに適用し、誤り確率と冗長性の境界を導出する。
• Borel-Cantelli補題と指示変数の分散バウンドを用いて、stationary な過程における待ち時間と一致長を分析する。
• 一般化AEPを高次漸近展開で精緻化することで、2次コーディング定理を導出する。
• 重み付き歪みの下での最適なコードブック設計を特徴づけるために、球被覆指数の定式化を導入する。
• 空間的混合条件と格子に基づくサンプリングを用いて、ランダムフィールドへの結果の拡張を行い、待ち時間および一致長の分析を一般化する。

実験結果

リサーチクエスチョン

• RQ1 歪み制約下での損失あり圧縮における漸近的等確率性定理（AEP）は、どのように一般化できるか？
• RQ2 損失ありソースコーディングレートの2次漸近的挙動は何か？ これはシャノンの直接的および逆定理をどのように精緻化するか？
• RQ3 stationary な過程間の待ち時間は歪みとどのようにスケーリングするか？ また、パターンマッチングアルゴリズムとどのような関係があるか？
• RQ4 Lempel-Ziv方式のような損失あり圧縮方式における最長一致長の正確な漸近的挙動は何か？
• RQ5 不一致コードブックは圧縮性能にどのように影響を与えるか？ 重み付きコードブックの最適な球被覆指数は何か？

主な発見

• i.i.d. および stationarity な過程に対して一般化AEPが成立し、対数確率密度がレート・ディストーション関数に確率的に収束することが示された。
• 2次損失ありソースコーディング定理が確立され、i.i.d. ソースでは冗長性が $\Theta(\sqrt{n})$ のオーダーでスケーリングすることが示された。
• 歪み $D$ を持つ stationarity な過程間の待ち時間 $W_n$ は、ほとんど確実に $\log W_n \sim \log n$ を満たし、Borel-Cantelliを用いた正確な漸近的バウンドが導出された。
• $d$ 次元のランダムフィールドでは、最長一致長が $W_n \sim n^{1/d}$ にスケーリングし、対数的成長に対してタイトなバウンドが得られた。
• 重み付きコードブックの最適な球被覆指数は、歪み測度の上での変分問題の下界として特徴づけられた。
• 不一致コードブックの場合は、真の分布と不一致分布の相対エントロピーに依存する、達成可能なレートに関する逆方向の境界が導出された。