[論文レビュー] Information Structures of Capacity Achieving Distributions for Feedback Channels with Memory and Transmission Cost: Stochastic Optimal Control & Variational Equalities-Part I.

Christos K. Kourtellaris, Charalambos D. Charalambous|arXiv (Cornell University)|Dec 14, 2015

Wireless Communication Security Techniques参考文献 29被引用数 20

ひとこと要約

本稿は、確率的最適制御および変分等式を用いて、伝送コスト制約付きの記憶構造を持つチャネルの有限時間フィードバック情報容量（FTFI）を特徴づけている。最適入力分布が過去M個の出力記号にのみ依存することを証明し、情報構造を有限記憶形式に簡略化することで、この部分集合上で指向情報の最大化により正確な容量計算が可能となることを示している。

ABSTRACT

The Finite Transmission Feedback Information (FTFI) capacity is characterized for any class of channel conditional distributions $\big\{{\bf P}_{B_i|B^{i-1}, A_i} :i=0, 1, \ldots, n\big\}$ and $\big\{ {\bf P}_{B_i|B_{i-M}^{i-1}, A_i} :i=0, 1, \ldots, n\big\}$, where $M$ is the memory of the channel, $B^n = \{B_j: j=0,1, \ldots, n\}$ are the channel outputs and $A^n=\{A_j: j=0,1, \ldots, n\}$ are the channel inputs. The characterizations of FTFI capacity, are obtained by first identifying the information structures of the optimal channel input conditional distributions ${\cal P}_{[0,n]} =\big\{ {\bf P}_{A_i|A^{i-1}, B^{i-1}}: i=1, \ldots, n\big\}$, which maximize directed information $C_{A^n ightarrow B^n}^{FB} = \sup_{ {\cal P}_{[0,n]} } I(A^n ightarrow B^n), I(A^n ightarrow B^n) = \sum_{i=0}^n I(A^i;B_i|B^{i-1}) . $ The main theorem states, for any channel with memory $M$, the optimal channel input conditional distributions occur in the subset ${\cal Q}_{[0,n]}= \big\{ {\bf P}_{A_i|B_{i-M}^{i-1}}: i=1, \ldots, n\big\}$, and the characterization of FTFI capacity is given by $C_{A^n ightarrow B^n}^{FB, M} = \sup_{ {\cal Q}_{[0,n]} } \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1})$ . Similar conclusions are derived for problems with transmission cost constraints. The methodology utilizes stochastic optimal control theory, to identify the control process, the controlled process, and a variational equality of directed information, to derive upper bounds on $I(A^n ightarrow B^n)$, which are achievable over specific subsets of channel input conditional distributions. For channels with limited memory, this implies the transition probabilities of the channel output process are also of limited memory.

研究の動機と目的

• 離散時間記憶付きフィードバックチャネルの有限時間フィードバック情報（FTFI）容量を特徴づけること。
• フィードバックと伝送コスト制約下で指向情報を最大化するための最適情報構造（チャネル入力分布）を特定すること。
• 記憶Mを持つチャネルに対して、最適入力分布が過去の全履歴ではなく、最後のM個の出力記号にのみ依存することを確立すること。
• 変分等式と確率的制御フレームワークを用いて、FTFI容量の閉形式表現を導出すること。

提案手法

• フィードバック容量問題を、制御過程（チャネル出力）と制御過程（チャネル入力）を特定することで、確率的最適制御問題として定式化する。
• 指向情報 $ I(A^n \rightarrow B^n) $ の上界を確立するための変分等式を導出する。この上界は、特定の入力分布下でタイトである。
• 最適情報構造を $ \mathcal{Q}_{[0,n]} = \{ \mathbf{P}_{A_i|B_{i-M}^{i-1}} \} $ と特定し、過去の入力に依存する必要がないことを示す。
• この構造を用いて指向情報を $ \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1}) $ として再表現し、有限記憶部分集合上で容量計算を可能にする。
• このフレームワークを無記憶および記憶構造付きチャネルに適用し、導出された入力分布クラスの下で上界の達成可能性を証明する。
• チャネル出力過程 $ B^n $ も有限記憶構造を有することを確立し、遷移確率が最後のM個の出力にのみ依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 記憶Mと伝送コスト制約付きのフィードバックチャネルにおいて、指向情報を最大化する最適情報構造（入力分布）は何か？
• RQ2 このようなチャネルのフィードバック容量は、全履歴依存ではなく、有限記憶情報構造を用いて特徴づけられるか？
• RQ3 確率的最適制御理論は、フィードバック設定における指向情報のための変分等式をどのように導出可能にするか？
• RQ4 チャネルの記憶と最適入力分布の記憶の間には、明確な関係があるか？
• RQ5 指向情報の上界は達成可能か？ もし可能であれば、どの入力分布部分集合上で達成可能か？

主な発見

• フィードバック付き記憶Mを持つチャネルの最適チャネル入力条件付き分布は、部分集合 $ \mathcal{Q}_{[0,n]} = \{ \mathbf{P}_{A_i|B_{i-M}^{i-1}} \} $ に属し、これは過去M個の出力記号にのみ依存する。
• 記憶Mを持つチャネルのFTFI容量は $ C_{A^n \rightarrow B^n}^{FB, M} = \sup_{\mathcal{Q}_{[0,n]}} \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1}) $ で与えられ、容量の計算可能な表現を提供する。
• 指向情報 $ I(A^n \rightarrow B^n) $ はこの式で上界で抑えられ、導出された入力分布クラスを用いることで上界は達成可能である。
• チャネル出力過程 $ B^n $ は有限記憶構造を有し、遷移確率が最後のM個の出力にのみ依存する。
• 確率的制御と変分等式を用いた手法により、指定された情報構造下で達成可能なタイトな上界を指向情報に対して導出可能である。
• 伝送コスト制約付きチャネルに対しても同様の特徴づけが成り立ち、最適入力分布が依然として最後のM個の出力にのみ依存し、有限記憶構造が保たれることを示す。