[論文レビュー] Non-Asymptotic and Asymptotic Analyses of Information Processing on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|Sep 29, 2013

DNA and Biological Computing被引用数 5

ひとこと要約

本稿は、ブロック長に依存しない複雑さを有する、マルコフ連鎖上の情報符号化、確率的乱数生成、チャネル符号化のための効率的な計算可能な非漸近的バウンドを提示する。本稿は、大偏差および中程度偏差の領域において漸近的タイトネスを確立し、ソース符号化、乱数生成、チャネル符号化の第二位の分散のシングルレター表現を導出する。

ABSTRACT

In this paper, we derive non-asymptotic achievability and converse bounds on the source coding with/without side-information, the random number generation with/without side-information, and the channel coding for the regular channel. Our bounds are efficiently computable in the sense that the computational complexity does not depend on the block length. We also characterize the asymptotic behaviors of the large deviation regime and the moderate deviation regime by using our bounds, which implies that our bounds are asymptotically tight in those regimes. We also show the second order rates of those problems, and derive single letter forms of the variances characterizing the second order rates.

研究の動機と目的

• マルコフ連鎖上の情報処理タスクの非漸近的達成可能および双対バウンドを構築すること。
• ブロック長に依存しないバウンドを用いることで、計算効率を確保すること。
• 大偏差および中程度偏差の領域における漸近的挙動を特徴付けること。
• ソース符号化、乱数生成、チャネル符号化の第二位のレートを、シングルレター分散表現で導出すること。

提案手法

• マルコフ連鎖モデルに特化した情報理論的技術を用いて、非漸近的バウンドを導出する。
• ブロック長に依存しない計算複雑性を保証するための、新しい解析的フレームワークを適用する。
• バウンドを用いて、大偏差および中程度偏差の領域を分析する。
• 厳密な極限解析を通じて、これらの領域におけるバウンドの漸近的タイトネスを確立する。
• 第二位のレートを特徴付ける分散のシングルレター形を導出する。
• フレームワークを、片側情報あり／なしのソース符号化、乱数生成、通常のチャネル符号化に適用する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖上の情報処理の非漸近的バウンドを、ブロック長に依存せずに効率的に計算可能にする方法は何か？
• RQ2 導出されたバウンドは、大偏差および中程度偏差の領域でどのように漸近的にタイトであるか？
• RQ3 マルコフ連鎖上のソース符号化、乱数生成、チャネル符号化の第二位のレートは何か？
• RQ4 第二位のレートを支配する分散は、これらの問題に対してシングルレター形式で表現可能か？
• RQ5 片側情報の条件は、バウンドの構造およびタイトネスにどのように影響するか？

主な発見

• 提案されたバウンドは、ブロック長に依存しない複雑さを有し、効率的に計算可能である。
• バウンドは、大偏差および中程度偏差の両領域において漸近的にタイトである。
• ソース符号化、乱数生成、チャネル符号化の第二位のレートは、シングルレター分散表現によって特徴付けられる。
• 第二位の漸近的解析における分散項は、シングルレター形式で導出され、計算が容易になる。
• フレームワークは、片側情報あり／なしの問題に一貫して適用可能である。
• 結果として、マルコフ連鎖的情報処理における非漸近的および漸近的解析の統一的基礎が確立される。