[論文レビュー] The Capacity of Channels with Feedback

Sekhar Tatikonda, Sanjoy K. Mitter|ArXiv.org|Sep 25, 2006

Wireless Communication Security Techniques参考文献 25被引用数 6

ひとこと要約

本稿は、指向情報と十分統計量に基づく動的計画法の定式化を導入することで、フィードバック付きの離散的定常およびマルコフ遷移チャネルの容量を分析する一般枠組みを確立する。フィードバックチャネルにおける符号化定理をコード関数を用いて証明し、平均コスト最適性方程式（ACOE）を介した1文字化特徴付けを導出し、特に符号間干渉（ISI）を有するマルコフチャネルにおいてフィードバックが容量を増加させる条件を特定する。主な貢献は、先行研究を統合し、MDP技術を用いた計算が可能な、統一的かつ情報理論的なフィードバック容量のアプローチである。

ABSTRACT

We introduce a general framework for treating channels with memory and feedback. First, we generalize Massey's concept of directed information and use it to characterize the feedback capacity of general channels. Second, we present coding results for Markov channels. This requires determining appropriate sufficient statistics at the encoder and decoder. Third, a dynamic programming framework for computing the capacity of Markov channels is presented. Fourth, it is shown that the average cost optimality equation (ACOE) can be viewed as an implicit single-letter characterization of the capacity. Fifth, scenarios with simple sufficient statistics are described.

研究の動機と目的

• 記憶を持つチャネルおよびフィードバックを有するチャネルの容量を特徴付ける一般的な情報理論的枠組みの開発。
• マッセイの指向情報の概念を一般化し、一般チャネルにおけるフィードバック容量を特徴付ける。
• フィードバック付きマルコフチャネルにおける符号器および復号器の十分統計量を特定し、取り扱いやすい符号化および容量計算を可能にする。
• フィードバック容量問題を部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化し、動的計画法による解法を導く。
• 平均コスト最適性方程式（ACOE）がフィードバック容量の暗黙的1文字化特徴付けを提供することを示す。

提案手法

• 記憶を持つチャネルおよびフィードバックを有するチャネルにおけるフィードバック容量を特徴付けるために、指向情報を一般化する。
• コード関数に基づく問題にフィードバック符号化を再定式化し、コード関数の分布が指向情報によってチャネル入力分布と関連づけられる。
• マルコフチャネルにおける符号器における十分統計量 {Πt} と復号器における {Γt} を導入し、それらは過去の入力と出力を基に導出される。
• 状態が十分統計量であるマルコフ意思決定過程（MDP）の定式化を構築し、容量計算に向けた動的計画法を可能にする。
• コスト関数の連続性および有界性を保証し、標準的条件下でMDP定式化の解の存在を保証する。
• ACOEを主要なツールとして用い、情報安定性の条件を伴い、容量を暗黙的に特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 記憶を持つチャネルおよびフィードバックを有する任意のチャネルにおけるフィードバック容量を特徴付けるために、指向情報をどのように一般化できるか？
• RQ2 フィードバック付きマルコフチャネルにおける符号器および復号器の適切な十分統計量は何か？ また、それらは符号化問題をどのように簡略化するか？
• RQ3 フィードバック容量問題は、マルコフ意思決定過程（MDP）の定式化に還元可能か？ もし可能であれば、状態空間は十分統計量とどのように関係するか？
• RQ4 平均コスト最適性方程式（ACOE）が情報安定性を示し、したがってフィードバック容量を特徴付けるための条件は何か？
• RQ5 どのような種類のフィードバック付きチャネルが単純な十分統計量を有するか？ また、それらはどのように1文字化容量式を導くか？

主な発見

• 一般チャネルのフィードバック容量は、フィードバック付き入力分布の上での指向情報 I(X^T → Y^T) の上限値として特徴付けられる。
• マルコフチャネルでは、符号器における十分統計量 {Πt} は、過去の入力と出力に基づくチャネル状態の事後分布である。
• フィードバック容量問題はPOMDPとして定式化可能であり、最適制御方策は容量を達成する符号化戦略に対応する。
• 平均コスト最適性方程式（ACOE）は、フィードバック容量の暗黙的1文字化特徴付けを提供し、その解は情報安定性を示唆する。
• 単純な十分統計量を持つ状況（例えば、十分統計量が入力または出力のみに依存する場合）では、有限次元MDPを用いて容量を計算可能である。
• MDP定式化におけるコスト関数は有界かつ連続であり、標準的条件下でACOEの解の存在が保証される。