[論文レビュー] Second-Order Coding Rates for Conditional Rate-Distortion

Sy-Quoc Le, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Oct 10, 2014

Wireless Communication Security Techniques参考文献 26被引用数 4

ひとこと要約

本稿は、符号化器および復号器にサイドインフォーメーションが利用可能な状況における、損失ありソース符号化の2次コーディングレートを、離散的メモリレス、ガウス、およびマルコフ源に対して非漸近的バウンドを用いて確立する。主な結果として、ガウス源とガウス的サイドインフォーメーションを有する場合、分散は1/2ナット2/シンボルに正確に等しくなる。これはサイドインフォーマーションの分散に依存せず、サイドインフォーマーションなしのレート・ディストーション関数と一致する。

ABSTRACT

This paper characterizes the second-order coding rates for lossy source coding with side information available at both the encoder and the decoder. We first provide non-asymptotic bounds for this problem and then specialize the non-asymptotic bounds for three different scenarios: discrete memoryless sources, Gaussian sources, and Markov sources. We obtain the second-order coding rates for these settings. It is interesting to observe that the second-order coding rate for Gaussian source coding with Gaussian side information available at both the encoder and the decoder is the same as that for Gaussian source coding without side information. Furthermore, regardless of the variance of the side information, the dispersion is $1/2$ nats squared per source symbol.

研究の動機と目的

• 符号化器および復号器にサイドインフォーマーションが利用可能な状況における、損失ありソース符号化の有限ブロック長性能の限界を特徴づけること。
• この状況下でのレート、ディストーション、ブロック長のトレードオフを捉える非漸近的バウンドを導出すること。
• 条件付きレート・ディストーション制約下で、離散的メモリレス、ガウス、およびマルコフ源に対する2次コーディングレートを確立すること。
• サイドインフォーマーションが損失ありソース符号化における分散および2次漸近論的特性に与える影響を調査すること。
• ガウス源において、サイドインフォーマーションの分散に関わらず、分散が1/2ナット2/シンボルに保たれることを示すこと。

提案手法

• 情報スペクトル法とガラージェル関数を用いて、条件付きレート・ディストーション問題に対する非漸近的達成可能バウンドを導出する。
• ベリー・イッシェンの定理と集中不等式を適用して、コーディングレートの有限ブロック長挙動を近似する。
• 中心極限定理とテイラー展開を用いて、レート・ディストーション関数の漸近的展開における2次項を分析する。
• 条件付き情報密度 $ j_{X|S}(x|s) $ の分散（分散）を分析することによって、2次コーディングレートを確立する。
• 特定の条件下で、条件付き情報密度系列がマルコフ過程を形成することを示すためにマルコフ連鎖の性質を適用する。
• 誤差確率の解析を厳密化するために、対数補正項を含む精密化された大偏差バウンドを用いる。

実験結果

リサーチクエスチョン

• RQ1 符号化器および復号器にサイドインフォーマーションが利用可能な離散的メモリレス源における2次コーディングレートは何か？
• RQ2 2乗誤差歪みを伴うガウス源符号化において、サイドインフォーマーションの存在が分散に与える影響は何か？
• RQ3 サイドインフォーマーションの分散が、ガウス的設定における2次漸近論的特性に影響を与えるか？
• RQ4 連続するソースとサイドインフォーマーションの系列が時定常マルコフ連鎖を形成する場合、マルコフ源における2次コーディングレートは何か？
• RQ5 有限ブロック長効果を考慮した非漸近的バウンドを用いて、条件付きレート・ディストーションの2次コーディングレートを特徴づけられるか？

主な発見

• 有限アルファベットとハミング歪みを有する離散的メモリレス源に対して、2次コーディングレートが明示的に導出され、既知の結果が条件付きケースに拡張された。
• ガウス的サイドインフォーマーションと2乗誤差歪みを有するガウス源に対して、分散が正確に1/2ナット2/シンボルに等しいことから、2次コーディングレートが特徴づけられた。
• ガウス的ケースにおける分散は、サイドインフォーマーションの分散に依存せず、これは直感に反するが、サイドインフォーマーションが存在しても成立する。
• ソースとサイドインフォーマーションの結合系列が時定常マルコフ連鎖を形成するマルコフ源に対して、2次コーディングレートは条件付き情報密度の分散を用いて確立された。
• ガウス的ケースにおける2次コーディングレートは、サイドインフォーマーションなしのケースと同一であり、符号化器にサイドインフォーマーションがあることで分散に改善が見られないことを示している。
• 非漸近的バウンドはタイトであり、誤差確率の収束速度が $ O(rac{ ext{log } n}{n}) $ のオーダーで、2次漸近論的特性の導出を可能にしている。