[论文解读] Directed Information, Causal Estimation, and Communication in Continuous Time

Tsachy Weissman, Young-Han Kim+1 more|arXiv (Cornell University)|Sep 2, 2011

Wireless Communication Security Techniques参考文献 39被引用 4

一句话总结

本文通过在时间划分上取下确界，为连续时间随机过程引入了一个严格的定向信息概念，将离散时间定向信息推广至连续时间。它证明了Duncan的经典关系（因果估计误差与互信息的关系）在引入反馈时可推广为以定向信息替代互信息，进而利用该关系表征了连续时间高斯通道和泊松通道的反馈容量。

ABSTRACT

A notion of directed information between two continuous-time processes is proposed. A key component in the definition is taking an infimum over all possible partitions of the time interval, which plays a role no less significant than the supremum over "space" partitions inherent in the definition of mutual information. Properties and operational interpretations in estimation and communication are then established for the proposed notion of directed information. For the continuous-time additive white Gaussian noise channel, it is shown that Duncan's classical relationship between causal estimation and information continues to hold in the presence of feedback upon replacing mutual information by directed information. A parallel result is established for the Poisson channel. The utility of this relationship is then demonstrated in computing the directed information rate between the input and output processes of a continuous-time Poisson channel with feedback, where the channel input process is constrained to be constant between events at the channel output. Finally, the capacity of a wide class of continuous-time channels with feedback is established via directed information, characterizing the fundamental limit on reliable communication.

研究动机与目标

• 为捕捉因果信息流的连续时间随机过程之间的定向信息概念进行形式化定义。
• 将经典的估计理论结果——特别是Duncan定理——推广至含反馈的连续时间情形。
• 利用定向信息表征一大类连续时间通道的反馈容量。
• 展示定向信息在计算输入在输出事件之间保持恒定的泊松通道的定向信息速率方面的实用性。

提出的方法

• 将连续时间定向信息定义为所有有限时间划分上子区间离散时间定向信息的下确界。
• 利用在时间划分趋于精细时离散时间定向信息的极限，定义连续时间版本。
• 利用Birkhoff遍历定理和块遍历性，证明低于定向信息速率的传输速率可实现。
• 通过在小时间间隔上采样连续时间过程，并利用反馈时延建模因果性，构建离散时间通道模型。
• 应用数据处理不等式和条件互信息的性质，将离散时间通道容量与连续时间定向信息关联。
• 利用噪声过程平稳且块遍历的性质，确保所诱导的离散时间通道的遍历性。

实验结果

研究问题

• RQ1 如何为连续时间随机过程严格定义定向信息？
• RQ2 当存在反馈时，Duncan定理中因果估计误差与互信息的关系是否可推广至连续时间？
• RQ3 能否利用定向信息表征连续时间通道的反馈容量？
• RQ4 对于输入在输出事件之间保持恒定的连续时间泊松通道，其定向信息速率是多少？
• RQ5 反馈的存在如何改变连续时间中估计误差与信息度量之间的关系？

主要发现

• 所提出的连续时间定向信息定义为时间划分的下确界，确保与离散时间定向信息的一致性，并继承其关键性质。
• Duncan定理推广至连续时间：在含反馈的加性白高斯噪声通道中，最小因果估计误差与输入和输出之间的定向信息相关。
• 泊松通道也存在类似关系，其中估计误差表征中以定向信息替代互信息。
• 对于输入在输出事件之间保持恒定的连续时间泊松通道，利用广义Duncan定理显式计算出定向信息速率。
• 具有平稳遍历噪声的一类连续时间通道的反馈容量被表征为所有输入分布下定向信息的上确界。
• 证明反馈容量等于时间划分下确界下的定向信息速率，建立了连续时间版本的离散时间反馈容量公式。