[论文解读] Information Structures of Capacity Achieving Distributions for Feedback Channels with Memory and Transmission Cost: Stochastic Optimal Control & Variational Equalities-Part I.

Christos K. Kourtellaris, Charalambos D. Charalambous|arXiv (Cornell University)|Dec 14, 2015

Wireless Communication Security Techniques参考文献 29被引用 20

一句话总结

该论文利用随机最优控制和变分等式，研究了具有传输代价约束的带记忆结构信道的有限时间反馈信息（FTFI）容量。证明了最优输入分布仅依赖于过去 M 个输出符号，从而将信息结构简化为有限记忆形式，并通过在此子集上最大化定向信息，实现了容量的精确计算。

ABSTRACT

The Finite Transmission Feedback Information (FTFI) capacity is characterized for any class of channel conditional distributions $\big\{{\bf P}_{B_i|B^{i-1}, A_i} :i=0, 1, \ldots, n\big\}$ and $\big\{ {\bf P}_{B_i|B_{i-M}^{i-1}, A_i} :i=0, 1, \ldots, n\big\}$, where $M$ is the memory of the channel, $B^n = \{B_j: j=0,1, \ldots, n\}$ are the channel outputs and $A^n=\{A_j: j=0,1, \ldots, n\}$ are the channel inputs. The characterizations of FTFI capacity, are obtained by first identifying the information structures of the optimal channel input conditional distributions ${\cal P}_{[0,n]} =\big\{ {\bf P}_{A_i|A^{i-1}, B^{i-1}}: i=1, \ldots, n\big\}$, which maximize directed information $C_{A^n ightarrow B^n}^{FB} = \sup_{ {\cal P}_{[0,n]} } I(A^n ightarrow B^n), I(A^n ightarrow B^n) = \sum_{i=0}^n I(A^i;B_i|B^{i-1}) . $ The main theorem states, for any channel with memory $M$, the optimal channel input conditional distributions occur in the subset ${\cal Q}_{[0,n]}= \big\{ {\bf P}_{A_i|B_{i-M}^{i-1}}: i=1, \ldots, n\big\}$, and the characterization of FTFI capacity is given by $C_{A^n ightarrow B^n}^{FB, M} = \sup_{ {\cal Q}_{[0,n]} } \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1})$ . Similar conclusions are derived for problems with transmission cost constraints. The methodology utilizes stochastic optimal control theory, to identify the control process, the controlled process, and a variational equality of directed information, to derive upper bounds on $I(A^n ightarrow B^n)$, which are achievable over specific subsets of channel input conditional distributions. For channels with limited memory, this implies the transition probabilities of the channel output process are also of limited memory.

研究动机与目标

• 表征具有反馈的离散时间带记忆信道的有限时间反馈信息（FTFI）容量。
• 识别在反馈和传输代价约束下，能最大化定向信息的最优信息结构的信道输入分布。
• 证明对于记忆为 M 的信道，最优输入分布仅依赖于最近 M 个输出符号，而非整个历史记录。
• 利用变分等式和随机控制框架，推导出 FTFI 容量的闭式表达式。

提出的方法

• 将反馈容量问题表述为随机最优控制问题，识别控制过程（信道输入）和被控过程（信道输出）。
• 推导定向信息的变分等式，以建立 $ I(A^n \rightarrow B^n) $ 的上界，该上界在特定输入分布下为紧致。
• 将最优信息结构识别为 $ \mathcal{Q}_{[0,n]} = \{ \mathbf{P}_{A_i|B_{i-M}^{i-1}} \} $，表明对过去输入的依赖是不必要的。
• 利用此结构，将定向信息重写为 $ \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1}) $，从而可在有限记忆子集上实现容量计算。
• 将该框架应用于无记忆和带记忆结构的信道，证明在推导出的输入分布类下，上界可实现。
• 证明信道输出过程也具有有限记忆结构，其转移概率仅依赖于最近 M 个输出。

实验结果

研究问题

• RQ1 在具有记忆 M 和传输代价约束的反馈信道中，能最大化定向信息的最优输入分布信息结构是什么？
• RQ2 能否使用有限记忆信息结构而非完整历史依赖，来表征此类信道的反馈容量？
• RQ3 随机最优控制理论如何支持在反馈设置下推导定向信息的变分等式？
• RQ4 信道记忆与最优输入分布记忆之间的精确关系是什么？
• RQ5 定向信息的上界是否可实现？若是，是在输入分布的哪个子集上实现？

主要发现

• 具有记忆 M 的反馈信道的最优信道输入条件分布属于子集 $ \mathcal{Q}_{[0,n]} = \{ \mathbf{P}_{A_i|B_{i-M}^{i-1}} \} $，该子集仅依赖于最近 M 个输出符号。
• 记忆为 M 的信道的 FTFI 容量由 $ C_{A^n \rightarrow B^n}^{FB, M} = \sup_{\mathcal{Q}_{[0,n]}} \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1}) $ 给出，提供了可计算的容量表达式。
• 定向信息 $ I(A^n \rightarrow B^n) $ 受此表达式上界限制，且在所推导的输入分布类下可实现该上界。
• 信道输出过程 $ B^n $ 具有有限记忆结构，其转移概率仅依赖于最近 M 个输出。
• 利用随机最优控制和变分等式的方法，可推导出在指定信息结构下可实现的定向信息的紧致上界。
• 对于具有传输代价约束的信道，类似的表征依然成立，表明最优输入分布仍仅依赖于最近 M 个输出，保持了有限记忆结构。