[論文レビュー] Finite-Length Analyses for Source and Channel Coding on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|Sep 29, 2013

Wireless Communication Security Techniques参考文献 56被引用数 11

ひとこと要約

本稿は、Rényi散発と条件付きRényiエントロピーに基づく統一的な枠組みを用いて、マルコフ連鎖上のソース符号化およびチャネル符号化の有限長限界を導出する。計算効率が良く、大偏差、中程度偏差、2次のスケーリングの3つの領域で漸近的に最適となる限界を提示し、記憶依存システムにおける実用的ブロック長におけるタイトな性能限界を提供する。

ABSTRACT

We study finite-length bounds for source coding with side information for Markov sources and channel coding for channels with conditional Markovian additive noise. For this purpose, we propose two criteria for finite-length bounds. One is the asymptotic optimality and the other is the efficient computability of the bound. Then, we derive finite-length upper and lower bounds for coding length in both settings so that their computational complexity is efficient. To discuss the first criterion, we derive the large deviation bounds, the moderate deviation bounds, and second order bounds for these two topics, and show that these finite-length bounds achieves the asymptotic optimality in these senses. For this discussion, we introduce several kinds of information measure for transition matrices.

研究の動機と目的

• マルコフ連鎖上での符号化に向けた、計算効率が良くかつ漸近的に最適な有限長限界の不足を補う。
• 共通の情報理論的枠組みを用いて、側情報付きソース符号化とマルコフ的ノイズを伴うチャネル符号化の有限長解析を統一する。
• 線形計画法による計算可能性と、大偏差、中程度偏差、2次スケーリングの3領域における漸近的最適性を両立する限界を構築する。
• 記憶依存設定におけるタイトで取り扱いやすい限界を可能にするために、遷移行列に対する新たな情報尺度を導入する。

提案手法

• Rényi散発と条件付きRényiエントロピーに基づく指数型の限界を用いて、有限長達成限界を定式化する。
• 対称性のもとで計算可能性を保証するため、線形計画法を用いた仮説検定限界フレームワークを誤り確率の評価に適用する。
• Rényi散発のパラメータに関する変分最適化により限界を導出し、誤りとレートのトレードオフを最適化するための $\tilde{\rho}$ と $\sigma$ を用いたパrameterizationを採用する。
• Rényi散発解析のため、元のチャネルとねじれた分布を関連付けるための条件付き加法的チャネルモデル $P_{B^n|A^n,\rho}$ を導入する。
• Rényi散発の単調性を用いて、ねじれた分布と元の分布の散発の差分に基づき誤り確率を上界で評価する不等式を導出する。
• 収束が漸近的領域に一致するよう制約を課した上で、$\tilde{\rho}$ と $\sigma$ について最適化することでタイトな限界を確立する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ的源およびチャネル符号化における有限長限界は、計算効率と漸近的最適性を両立できるか？
• RQ2 Rényi散発と条件付きRényiエントロピーは、ソースおよびチャネル符号化におけるマルコフ的依存性をどのように拡張できるか？
• RQ3 記憶依存システムにおけるタイトで取り扱いやすい有限長限界を可能にするための遷移行列に関する情報尺度は何か？
• RQ4 提案された限界は、大偏差、中程度偏差、2次スケーリングの各領域で漸近的に最適性を達成するか？
• RQ5 側情報付きソース符号化とマルコフ的加法的ノイズを伴うチャネル符号化の両者を統一する枠組みは可能か？

主な発見

• 提案された限界は、大偏差、中程度偏差、2次スケーリングの各領域で漸近的に最適であり、既知の根本的限界と一致する。
• 対称性が成立する場合には線形計画法により効率的に計算可能であり、他の手法で一般的に見られる変数の指数的増加を回避できる。
• 条件付きRényiエントロピーとねじれた分布の使用により、ブロック長に応じて良好にスケーリングするタイトな有限長限界が得られる。
• 本フレームワークは、側情報付きソース符号化とマルコフ的加法的ノイズを伴うチャネル符号化の両者における有限長解析を成功裏に統一する。
• Rényi散発の最適化により導かれた限界は、すべての漸近的領域でRCU限界と同等の性能を達成し、計算効率が向上している。
• $\tilde{\rho}$ と $\sigma$ を用いた新しいパrameterizationにより、タイトな最適化が可能となり、既知の漸近的限界に収束することが保証される。