[论文解读] Finite-Time Capacity: Making Exceed-Shannon Possible?

Jieao Zhu, Zijian Zhang+2 more|arXiv (Cornell University)|Oct 31, 2021

Sparse and Compressive Sensing Techniques参考文献 15被引用 5

一句话总结

本文提出了一种高斯过程的有限时间容量框架，通过极限表达式推导并利用梅尔塞展开，严格证明了在有限观测窗口内互信息可超过经典香农容量——揭示了“超越香农”现象。该方法将有限时间容量与算子理论相联系，在新假设下展示了其与香农极限的兼容性。

ABSTRACT

Shannon-Hartley theorem can accurately calculate the channel capacity when the signal observation time is infinite. However, the calculation of finite-time capacity, which remains unknown, is essential for guiding the design of practical communication systems. In this paper, we investigate the capacity between two correlated Gaussian processes within a finite-time observation window. We first derive the finite-time capacity by providing a limit expression. Then we numerically compute the maximum transmission rate within a single finite-time window. We reveal that the number of bits transmitted per second within the finite-time window can exceed the classical Shannon capacity, which is called as the Exceed-Shannon phenomenon. Furthermore, we derive a finite-time capacity formula under a typical signal autocorrelation case by utilizing the Mercer expansion of trace class operators, and reveal the connection between the finite-time capacity problem and the operator theory. Finally, we analytically prove the existence of the Exceed-Shannon phenomenon in this typical case, and demonstrate the achievability of the finite-time capacity and its compatibility with the classical Shannon capacity.

研究动机与目标

• 为解决实际通信系统中信号在有限时间窗口内观测时缺乏有限时间容量分析的问题。
• 推导出一种数学上严谨的有限时间容量表达式，避免香农-哈特利定理中无限时间渐近近似的局限。
• 研究在有限时间窗口内互信息是否可超过经典香农容量，即所谓的“超越香农”现象。
• 通过梅尔塞展开建立有限时间容量与算子理论之间的联系，以实现解析可处理性。
• 在特定信号相关性模型下，证明有限时间容量的可实现性及其与经典香农理论的兼容性。

提出的方法

• 通过密集采样与极限过程处理连续时间信息内容，推导有限时间容量。
• 将连续容量表达式离散化为矩阵形式，以支持数值计算与仿真。
• 对与信号自相关相关的迹类积分算子应用梅尔塞展开，获得闭式有限时间容量公式。
• 利用算子理论分析协方差核的特征值，实现对容量表达式的解析处理。
• 采用留数计算与反常积分求值方法，验证关键解析结果，尤其在低功率区域。
• 在特定指数自相关模型下，通过数值方法验证‘超越香农’现象，并在小信号功率下进行解析证明。

实验结果

研究问题

• RQ1 在有限时间观测窗口内，互信息是否可超过经典香农容量？
• RQ2 对于具有给定自相关结构的关联高斯过程，有限时间容量的解析形式是什么？
• RQ3 有限时间容量与经典香农容量有何关系？在何种条件下‘超越香农’现象可能发生？
• RQ4 何种数学框架将有限时间容量与算子理论相联系？如何利用该框架推导闭式解？
• RQ5 在现实信号假设下，有限时间容量是否可实现且与无限时间香农极限兼容？

主要发现

• 在有限观测窗口内，有限时间容量超过经典香农容量，数值上证实了‘超越香农’现象的存在。
• 对于特定指数自相关模型，通过协方差核的梅尔塞展开，推导出闭式有限时间容量公式。
• 在小信号功率 $ P < \delta $ 条件下，‘超越香农’现象被严格证明存在，其中 $ \delta = \frac{n_0\alpha\psi(2\alpha T)}{(1 - \psi(2\alpha T))^2} $，且 $ \psi(x) = (1 - e^{-x})/x $。
• 当 $ T \to 0^+ $ 时，有限时间容量的导数为 $ P/n_0 $，表明即使在无穷小时间窗口内，信息传输初始速率也非零。
• 通过复分析精确求值容量表达式中的反常积分，得到 $ \frac{1}{2}\left(\sqrt{\alpha^2 + \frac{4P\alpha}{n_0}} - \alpha\right) $。
• 有限时间容量被证明是香农极限的一般情形，经典结果仅在 $ T \to \infty $ 极限下被恢复。