[論文レビュー] Non-Asymptotic and Second-Order Achievability Bounds for Coding With Side-Information

Shun Watanabe, Shigeaki Kuzuoka+1 more|arXiv (Cornell University)|Jan 28, 2013

Wireless Communication Security Techniques参考文献 49被引用数 11

ひとこと要約

本稿では、チャネルの解体可能性とシミュレーション技術を用いて、Wyner-Ahlswede-Körner、Wyner-Ziv、Gel'fand-Pinskerの3つの古典的側情報問題の新たな非漸近的達成可能境界を提示する。これらの境界は、既存のすべての有限ブロック長結果を上回り、第二階層の符号化レート近似をより厳密に可能にし、数値評価において顕著に優れた性能を示す。

ABSTRACT

We present novel non-asymptotic or finite blocklength achievability bounds for three side-information problems in network information theory. These include (i) the Wyner-Ahlswede-Korner (WAK) problem of almost-lossless source coding with rate-limited side-information, (ii) the Wyner-Ziv (WZ) problem of lossy source coding with side-information at the decoder and (iii) the Gel'fand-Pinsker (GP) problem of channel coding with noncausal state information available at the encoder. The bounds are proved using ideas from channel simulation and channel resolvability. Our bounds for all three problems improve on all previous non-asymptotic bounds on the error probability of the WAK, WZ and GP problems--in particular those derived by Verdu. Using our novel non-asymptotic bounds, we recover the general formulas for the optimal rates of these side-information problems. Finally, we also present achievable second-order coding rates by applying the multidimensional Berry-Esseen theorem to our new non-asymptotic bounds. Numerical results show that the second-order coding rates obtained using our non-asymptotic achievability bounds are superior to those obtained using existing finite blocklength bounds.

研究の動機と目的

• ネットワーク情報理論における3つの基本的側情報問題のより厳密な非漸近的達成可能境界を導出すること。
• Wyner-Ahlswede-Körner、Wyner-Ziv、Gel'fand-Pinsker問題における既存の有限ブロック長誤り確率境界を改善すること。
• 新しい非漸近的境界から既知の漸近的レート領域を回復すること。
• 多次元Berry-Esséen定理を用いて達成可能な第二階層符号化レートを導出すること。
• 数値的に、提案された境界が既存手法と比較して優れた第二階層符号化レートを達成することを示すこと。

提案手法

• 著者らは、従来のカバーイングおよびパッキング補題に代わって、チャネルの解体可能性とチャネルシミュレーション技術を用いて、新規の達成可能証明を構築する。
• WAK問題におけるヘルパーの挙動をシミュレートするための仮想チャネルモデルを用い、誤り確率に対するより厳密な制御を可能にする。
• サポートが有界である確率的補助確率変数の構築を用い、基数の上限を活用して重要な統計的モーメントを保持する。
• 非漸近的境界に多次元Berry-Esséen定理を適用することで、第二階層符号化レート近似を導出する。
• 十分統計量のモーメント、共分散、および十分統計量の周辺分布を保持することにより、基数の上限を導出する。
• 解体可能性に基づく統一されたフレームワークにそれぞれの符号化方式を埋め込むことにより、3問題すべてに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 解体可能性とシミュレーション技術を用いることで、側情報問題の非漸近的達成可能境界を改善できるか？
• RQ2 新しい境界は、既存の有限ブロック長境界と比較して、より厳密な第二階層符号化レート近似を達成できるか？
• RQ3 WAK、WZ、GP問題の既知の漸近的レート領域は、新しい非漸近的境界から回復可能か？
• RQ4 多次元Berry-Esséen定理の使用が、第二階層符号化レートの精度にどのような影響を与えるか？
• RQ5 誤り確率および第二階層レートの観点から、提案された境界は、先行する有限ブロック長境界と比較して、数値的にどのように差をつけるか？

主な発見

• 提案されたWAK、WZ、GP問題の非漸近的境界は、Verdúらの結果を含む、すべての既存の有限ブロック長境界を厳密に上回る。
• 境界は、3問題すべての既知の漸近的レート領域を正しく回復しており、その正しさとタイトネスを確認している。
• 新しい境界から導出された第二階層符号化レートは、既存の有限ブロック長境界のものと比較して、数値的に優れており、特に中程度のブロック長領域で顕著である。
• WAK問題における補助確率変数の基数は |Y| + 4 で、GP問題では |S||X| + 6 で上限が与えられ、最適化が容易になる。
• チャネルの解体可能性とシミュレーションの使用により、マーカフ補題およびその非漸近的類似物に依存しない統一的証明フレームワークが実現された。
• 補助変数の構築において高次モーメントおよび共分散を保持することで、誤り確率境界が改善された。