[論文レビュー] A Unified Approach to Non-Asymptotic and Asymptotic Analyses of Information Processing on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|Sep 29, 2013

Wireless Communication Security Techniques被引用数 2

ひとこと要約

本稿では、マルコフ連鎖における情報処理の有限長解析のための統一的枠組みを提示し、側情報付きのソース符号化およびチャネル符号化に対して計算的に効率的な境界を提案する。遷移行列に特化した新しい情報測度を用いて、大偏差、中程度偏差、および2次近似の境界を用いて漸近的最適性を達成する。

ABSTRACT

We study finite-length bounds for source coding with side information for Markov sources and channel coding for channels with conditional Markovian additive noise. For this purpose, we propose two criteria for finite-length bounds. One is the asymptotic optimality and the other is the efficient computability of the bound. Then, we derive finite-length upper and lower bounds for coding length in both settings so that their computational complexity is efficient. To discuss the first criterion, we derive the large deviation bounds, the moderate deviation bounds, and second order bounds for these two topics, and show that these finite-length bounds achieves the asymptotic optimality in these senses. For this discussion, we introduce several kinds of information measure for transition matrices.

研究の動機と目的

• マルコフソースにおける側情報付きソース符号化のための有限長境界を開発すること。
• 条件付きマルコフ的加法性ノイズを伴うチャネル符号化のための有限長境界を導出すること。
• 境界が漸近的に最適かつ計算的に容易に実装可能であることを保証すること。
• マルコフ的システムにおける非漸近的および漸近的解析を、1つの理論的枠組みで統合すること。

提案手法

• 有限長境界の漸近的最適性と計算効率性の2つの基準を提案する。
• マルコフ連鎖の遷移行列に特化した新しい情報測度を導入する。
• ソース符号化およびチャネル符号化の両設定において、大偏差、中程度偏差、および2次近似の境界を導出する。
• これらの境界を、条件付きマルコフ的ノイズを伴うマルコフソースおよびチャネルに適用する。
• 実装のための実用的効率性を確保するために、低計算複雑性を持つ境界を設計する。
• 提案された測度を用いて、有限長性能と漸近的極限との間の理論的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 マルコフソースにおける側情報付きソース符号化のための有限長境界を、どのようにして漸近的に最適かつ計算的に容易に実現できるか？
• RQ2 マルコフ的システムにおいて、タイトで取り扱いやすい境界を可能にする遷移行列のための情報測度は何か？
• RQ3 マルコフ連鎖における情報処理の文脈で、大偏差、中程度偏差、および2次近似の境界はどのように関係しているか？
• RQ4 統一的枠組みを用いて、マルコフ的不確実性下でのソース符号化とチャネル符号化を同時に取り扱えるか？
• RQ5 マルコフ的設定において、有限長境界の計算複雑性とタイトさのトレードオフは何か？

主な発見

• 提案された有限長境界は、大偏差、中程度偏差、および2次近似の3つの領域において、漸近的に最適性を達成する。
• 遷移行列のための新規情報測度により、従来の手法よりもタイトで計算的にも効率的な境界が可能になる。
• 境界は、側情報付きソース符号化および条件付きマルコフ的ノイズを伴うチャネル符号化の両方に適用可能である。
• この枠組みにより、理論的タイトさを保ちながらも、計算複雑性が低く抑えられる。
• 解析により、提案された境界が、3つの偏差領域すべてで漸近的極限に収束することが示された。
• 統一的アプローチにより、マルコフ的情報処理システムにおける非漸近的および漸近的解析が成功裏に統合された。