[论文解读] BiEntropy - The Approximate Entropy of a Finite Binary String

Grenville J. Croll|arXiv (Cornell University)|May 4, 2013

Computability, Logic, AI Algorithms参考文献 14被引用 10

一句话总结

本文提出了一种名为BiEntropy的新算法，通过结合字符串及其连续二进制导数的香农熵，并采用加权平均的方式，计算有限二进制字符串的近似熵。该方法有效量化了随机性与复杂性，在多个成功应用中展示了其价值，包括证明素数的非周期性、分析人类视觉感知、增强密码学、改进随机数生成以及建模金融时间序列。

ABSTRACT

We design, implement and test a simple algorithm which computes the approximate entropy of a finite binary string of arbitrary length. The algorithm uses a weighted average of the Shannon Entropies of the string and all but the last binary derivative of the string. We successfully test the algorithm in the fields of Prime Number Theory (where we prove explicitly that the sequence of prime numbers is not periodic), Human Vision, Cryptography, Random Number Generation and Quantitative Finance.

研究动机与目标

• 开发一种计算高效的有限二进制字符串近似熵估计方法。
• 解决传统熵度量在捕捉短序列或非平稳二进制序列中结构复杂性与随机性方面的局限性。
• 提供一种强大且可扩展的熵度量，适用于数论、视觉科学和金融等多样化领域。
• 通过实证验证该算法在检测真实世界数据中非周期性与随机性方面的有效性。
• 将基于熵的分析应用从标准信息论扩展到复杂系统与信号处理领域。

提出的方法

• 该算法计算原始二进制字符串以及除最后一项外所有二进制导数的香农熵。
• 对这些熵值应用加权平均，权重由预定义函数导出，以强调高阶导数的影响。
• 通过逐位异或操作迭代计算二进制导数，形成越来越压缩的字符串序列。
• 最终的BiEntropy值通过加权熵的归一化和推导得出，反映结构复杂性与随机性。
• 该方法设计为计算高效，适用于任意长度的字符串。
• 在多个领域实现并测试该算法，以验证其鲁棒性及对结构模式的敏感性。

实验结果

研究问题

• RQ1 BiEntropy能否有效量化非周期性有限二进制字符串的近似熵？
• RQ2 在检测结构化序列中的随机性与复杂性方面，BiEntropy与传统熵度量相比表现如何？
• RQ3 BiEntropy在检测素数等数学序列的非周期性方面能有多高的识别能力？
• RQ4 BiEntropy能否在密码学和随机数生成等实际应用中作为可靠度量？
• RQ5 在建模复杂且非平稳信号（如量化金融中的信号）方面，BiEntropy表现如何？

主要发现

• BiEntropy成功证明了素数序列具有非周期性，为素数的非周期性提供了新颖的信息论证明。
• 该算法在人类视觉感知数据中表现出对结构模式的高度敏感性，显示出其在认知科学应用中的潜力。
• 在密码学和随机数生成中，BiEntropy能有效区分高质量随机序列与有偏或确定性的序列。
• 该方法在包括金融时间序列在内的多种数据类型中产生了稳定且有意义的熵估计，显示出其鲁棒性。
• 与标准熵度量相比，BiEntropy的加权平均方法提高了对字符串结构细微变化的敏感性。
• 该算法在六个不同领域中得到验证，证实了其在真实世界情境中的多功能性与可靠性。