[论文解读] Complex-Valued Probability Measures and Their Applications in Information Theory

Siang Cheng, Hejun Xu+1 more|arXiv (Cornell University)|Mar 12, 2026

Statistical Mechanics and Entropy被引用 0

一句话总结

论文引入复值概率测度并定义复熵、复散度和复度量，分析它们在连续与离散分布中的性质，并以非参数双样本检验的应用来说明。

ABSTRACT

This paper introduces a comprehensive framework for complex-valued probability measures and explores their novel applications in information theory and statistical analysis. We define a complex probability measure as a phase-modulated extension of a classical probability measure. Building upon this foundation, we propose three fundamental information-theoretic quantities: complex entropy, which quantifies distribution uniformity through phase coherence; complex divergence, an asymmetric measure of dissimilarity between distributions; and the complex metric, a symmetric distance function satisfying the triangle inequality. We establish these concepts rigorously for both continuous and discrete probability distributions, proving key properties such as boundedness, continuity under total variation convergence, and clear extremal behaviors. A detailed comparative analysis with classical measures (Shannon entropy and Kullback-Leibler divergence) highlights the unique geometric and interpretive advantages of the proposed framework, particularly its sensitivity to distributional shape via a tunable phase parameter. We elucidate a profound formal analogy between the complex entropy integral and Feynman's path integral formulation of quantum mechanics, suggesting a deeper conceptual bridge. Finally, we demonstrate the practical utility of the complex metric through a detailed application in nonparametric two-sample hypothesis testing, outlining the testing procedure, advantages, limitations, and providing a conceptual simulation. This work opens new avenues for analyzing probability distributions through the lens of complex analysis and interference phenomena, with potential impacts across information theory, statistical inference, and machine learning.

研究动机与目标

• 通过相位全局调制将经典概率扩展到复值测度。
• 定义并分析复熵作为具有相位相干性的分布均匀性度量。
• 引入复散度与复度量，确立它们的性质及与经典度量的关系。
• 对连续与离散分布给予严格处理，包括有界性与连续性等性质。
• 通过非参数双样本假设检验的应用，展示实际应用价值。

提出的方法

• 将复杂概率测度 Q 定义为 dQ = e^{iθ} dP，其中 P 是经典概率测度，θ 为实数相位。
• 引入复熵 CE_β(P) = |∫ p(x) e^{iβ p(x)} dx|（连续分布）和 CE_β(P) = |∑ p(x) e^{iβ p(x)}|（离散分布）。
• 定义复散度与复度量，证明有界性和真正的度量三角不等式等性质。
• 证明关键性质包括平移、缩放、较小 β 极限，以及在全变差收敛下的连续性。
• 与香农熵和 KL 散度的比较，以及与量子力学中的路径积分的联系。
• 展示使用复度量进行非参数双样本假设检验框架的应用，包括程序、优点与局限性。

实验结果

研究问题

• RQ1 如何通过对经典测度的相位调制，在复平面上有意义地扩展概率测度？
• RQ2 复熵、复散度和复度量在连续与离散分布中有哪些基础性质与解释？
• RQ3 在几何、可解释性以及对分布形状的敏感性方面，复框架与香农熵、KL 散度相比有何不同？
• RQ4 复度量是否能在非参数双样本检验中得到有效应用？

主要发现

• CE_β(P) 的取值范围在0与1之间，且在有限支集上的均匀分布时达到1。
• 方差趋近于0的高斯分布的复熵趋向0，而弱收敛的示例显示极限的模态依赖性。
• 混合两个分布通常会降低复熵，且给出以分量的 CE_αβ 值为上界的明确界限。
• CE_β 在平移和尺度变换下（对 aβ 的缩放）保持不变，且 CE_β 在全变差收敛下是连续的。
• 在 CE 与费曼路径积分之间建立形式上的类比，揭示与量子力学干涉的联系。
• 论文提供了将复度量应用于非参数双样本检验的框架，详述程序、优点与局限性。