[論文レビュー] Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases

Christos Gioran, Ioannis Kontoyiannis|ArXiv.org|Apr 21, 2009

Algorithms and Data Compression参考文献 53被引用数 7

ひとこと要約

本稿では、Gupta-Verdú-Weissman (GVW) の分割統治戦略の効率性と、損失ありLempel-Ziv (LLZ) 構造における単一のランダムデータベースの低メモリ使用量を組み合わせたハイブリッド損失あり圧縮アルゴリズム HYB を提案する。HYB は GVW と同等の最適なレート歪み性能とほぼ線形の複雑度を達成するが、メモリ要件を無限大にまで拡大可能な要因で削減でき、低歪みの単純な離散的メモリレスなソースにおけるリアルタイム応用において実用的である。

ABSTRACT

The compression-complexity trade-off of lossy compression algorithms that are based on a random codebook or a random database is examined. Motivated, in part, by recent results of Gupta-Verdú-Weissman (GVW) and their underlying connections with the pattern-matching scheme of Kontoyiannis' lossy Lempel-Ziv algorithm, we introduce a non-universal version of the lossy Lempel-Ziv method (termed LLZ). The optimality of LLZ for memoryless sources is established, and its performance is compared to that of the GVW divide-and-conquer approach. Experimental results indicate that the GVW approach often yields better compression than LLZ, but at the price of much higher memory requirements. To combine the advantages of both, we introduce a hybrid algorithm (HYB) that utilizes both the divide-and-conquer idea of GVW and the single-database structure of LLZ. It is proved that HYB shares with GVW the exact same rate-distortion performance and implementation complexity, while, like LLZ, requiring less memory, by a factor which may become unbounded, depending on the choice or the relevant design parameters. Experimental results are also presented, illustrating the performance of all three methods on data generated by simple discrete memoryless sources. In particular, the HYB algorithm is shown to outperform existing schemes for the compression of some simple discrete sources with respect to the Hamming distortion criterion.

研究の動機と目的

• 実装複雑度が低く、近似的に最適な損失あり圧縮アルゴリズムを設計するという長年の課題に取り組む。
• GVW の分割統治アプローチに伴う高いメモリ要件を克服しつつ、その最適なレート歪み性能を維持する。
• LLZ アルゴリズムの低メモリ構造を、GVW のサブブロック符号化戦略の利点と統合する。
• 漸近的最適性とほぼ線形の複雑度を維持しながら、メモリ使用量を顕著に削減するハイブリッド方式を開発する。
• ハミング歪み基準下で、単純な離散的メモリレスなソース上での本手法の実用性を示す。

提案手法

• サブブロック長 ℓ を別々に符号化する GVW の分割統治戦略を採用するが、LLZ と同様に固定データベースを1つ使用するハイブリッドアルゴリズム（HYB）を提案する。
• 各サブブロックに対してサイズ 2^{ℓR(D)} のランダムコードブックを用い、位置 i = 1, ℓ+1, 2ℓ+1, ... における一致が独立になるようにし、解析を簡素化する。
• 各サブブロックをデータベース内の最も近いコードワードにマッチングするパターンマッチング方式を適用し、与えられたレート制約下で歪みを最小化する。
• 過剰歪みの確率を制御するため、ℓ = ⌈(1/(C(D)γ²)) log(3(D_max - D)/ε)⌉ としてパラメータ ℓ を選択し、レート、歪み、誤差確率のバランスを取る。
• 重要な補助量を定義する：D₁ = D/2、K(D) = (D - D₁)/(R(D₁) - R(D))、C(D) = min{ K²/(8D_max²), 1/(32(R′(D/2)D_max)²), 1/4 }。これらは誤差境界を支配する。
• 期待歪みが D + ε より小さくなるように、しきい値 ε̂ を用いる。ε̂ は D_max、D、C(D) に依存し、性能に対する確率的保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 損失あり圧縮アルゴリズムは、ほぼ線形時間の複雑度と顕著に低いメモリ使用量を実現しながら、最適なレート歪み性能を達成できるか？
• RQ2 GVW の分割統治的サブブロック戦略と LLZ の単一データベース構造を組み合わせることで、性能と複雑度にどのような影響を与えるか？
• RQ3 純粋な GVW や LLZ と比較して、ハイブリッドアプローチを用いる場合のメモリ使用量と歪み性能のトレードオフはいかなるものか？
• RQ4 ハイブリッドアルゴリズムは、GVW と同等のレート歪み性能を維持しながら、より低いメモリ複雑度を達成できるか？
• RQ5 サブブロック長 ℓ やレートオフセット γ などのパrameter 選択は、どれほど高い確率で目標歪み D に収束させるか？

主な発見

• HYB アルゴリズムは、GVW 法と同等のレート歪み性能と実装複雑度を達成しており、漸近的に最適であることが証明された。
• HYB は、設計パrameter に依存して、GVW よりも無限大にまで拡大可能な要因でメモリ要件を削減できる。これにより、最適性能を維持したまま実用性が向上する。
• 任意の目標歪み D ∈ (0, D_max) に対して、HYB はレート R = R(D) + γ と期待歪み < D + ε を達成する。ここで γ と ℓ は適切に選択される。
• 過剰歪みの確率は 2(2^{-ℓC(D)γ²}) + ℓ2^{-ℓγ/4} で抑えられ、n → ∞ のとき 0 に収束する。これにより、目標歪みへの収束が保証される。
• 全メッセージ X₁ⁿ の期待歪みは、n → ∞ のとき D に収束する。これは各ブロックにおける過剰項が漸近的に消えるためである。
• 実験結果から、ハミング歪み基準下で、単純な離散的メモリレスなソースにおいて、HYB は既存の手法を上回ることを示した。