[論文レビュー] Rate-Distortion Bounds for High-Resolution Vector Quantization via Gibbs's Inequality.

Tobias Koch, Gonzalo Vazquez-Vilar|arXiv (Cornell University)|Jul 30, 2015

Advanced Data Compression Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、d次元のメモリレスなソースの高分解能ベクトル量子化における最小出力エントロピーの下界を、適切に選んだ補助密度gを用いたギブズの不等式により導出する。この下界は、歪みが0に近づく一様次元の場合に、均一量子化器の出力エントロピーと漸近的に一致することを示し、元のソース確率密度関数の連続性や減衰性に関する仮定を必要としない。ギッシュとピアースの結果を拡張する。

ABSTRACT

Gibbs's inequality states that the differential entropy of a random variable with probability density function (pdf) $f$ is less than or equal to its cross entropy with any other pdf $g$ defined on the same alphabet, i.e., $h(X)\leq -\mathsf{E}[\log g(X)]$. Using this inequality with a cleverly chosen $g$, we derive a lower bound on the smallest output entropy that can be achieved by quantizing a $d$-dimensional source with given expected $r$th-power distortion. Specialized to the one-dimensional case, and in the limit of vanishing distortion, this lower bound converges to the output entropy achieved by a uniform quantizer, thereby recovering the result by Gish and Pierce that uniform quantizers are asymptotically optimal as the allowed distortion tends to zero. Our lower bound holds for any $d$-dimensional memoryless source that has a pdf and whose differential entropy and R\'enyi information dimension are finite. In contrast to Gish and Pierce, we do not require any additional constraints on the continuity or decay of the source pdf.

研究の動機と目的

• 与えられたr乗歪み制約下で、d次元のメモリレスなソースの最小達成可能出力エントロピーの下界を確立すること。
• ソース確率密度関数の連続性や減衰性に関する仮定を課さずに、ギッシュとピアースの結果を高次元に一般化すること。
• 微分エントロピーと交差エントロピー不等式を用いて、高分解能ベクトル量子化の情報理論的基盤を厳密に構築すること。
• 歪みが0に近づく一様次元極限において、導出した下界が均一量子化器の出力エントロピーに収束することを示すこと。

提案手法

• ギブズの不等式 h(X) ≤ −E[log g(X)] を適用し、ソースの微分エントロピーと選択した補助密度gとの間の交差エントロピーを関連付ける。
• 補助密度gを量子化領域上での一様分布とすることで、交差エントロピー項のタイトな制御が可能になる。
• r乗歪み制約を用いて、量子化器の出力領域とソース確率密度関数を用いて期待歪みを評価する。
• 微分積分法またはgに関する最適化を用いて、歪み制約の下で交差エントロピー項を最小化し、出力エントロピーの下界を導出する。
• 一様次元の場合にこの下界を適用し、歪みが0に近づく極限を取ることで、均一量子化器の出力エントロピーを回復する。
• ソース確率密度関数の滑らかさを仮定せず、有限の微分エントロピーおよびリーマン情報次元を持つ任意のd次元メモリレスなソースに対して、下界が有効であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的不等式を用いて、高分解能ベクトル量子化における最小出力エントロピーの下界を導出可能か？
• RQ2 導出した下界は、歪みが0に近づく一様次元極限において、均一量子化器の出力エントロピーに収束するか？
• RQ3 ソース確率密度関数の連続性や減衰性に関する仮定なしに、均一量子化器の漸近的最適性を証明可能か？
• RQ4 高次元設定において、補助密度gの選択が下界のタイトさにどのように影響するか？
• RQ5 下界が高分解能領域でタイトになるために必要な十分条件は何か？

主な発見

• 本稿では、有限の微分エントロピーおよびリーマン情報次元を持つ任意のソースに対して、r乗歪み制約下でd次元メモリレスなソースの最小出力エントロピーの下界を導出する。
• 一様次元の場合、歪みが0に近づく極限において、この下界は均一量子化器の出力エントロピーに収束し、ギッシュとピアースの結果を回復する。
• ソース確率密度関数が連続、有界、または無限遠で減衰する必要がなく、従来の結果の適用範囲を広げる。
• 一様補助密度gを用いたギブズの不等式の適用により、出力エントロピーのタイトで解析的に取り扱いやすい下界が得られる。
• 導出した下界は高分解能領域で漸近的にタイトであり、均一量子化器がこの極限において情報理論的に最適であることを示唆する。
• 有限の微分エントロピーおよびリーマン次元を除き、分布に関する仮定を必要としない、一般化されたレート歪み下界を導出するフレームワークを提供する。