[论文解读] Dynamic Entropies, Long--Range Correlations and Fluctuations in Complex Linear Structures

W. Ebeling, Alexander Neiman+1 more|ArXiv.org|Jul 28, 1995

Elasticity and Wave Propagation被引用 12

一句话总结

本文利用香农熵、Lempel-Ziv压缩和相关性分析，研究DNA和文本等符号序列中的长程相关性和动态熵。研究识别出标度指数和低频傅里叶分量，揭示了跨越数百至数千个字符的长波波动，shuffle实验表明不同度量方法在不同长度尺度上检测到相关性。

ABSTRACT

We investigate symbolic sequences and in particular information carriers as e.g. books and DNA--strings. First the higher order Shannon entropies are calculated, a characteristic root law is detected. Then the algorithmic entropy is estimated by using Lempel--Ziv compression algorithms. In the third section the correlation function for distant letters, the low frequency Fourier spectrum and the characteristic scaling exponents are calculated. We show that all these measures are able to detect long--range correlations. However, as demonstrated by shuffling experiments, different measures operate on different length scales. The longest correlations found in our analysis comprise a few hundreds or thousands of letters and may be understood as long--wave fluctuations of the composition.

研究动机与目标

• 分析DNA和书面文本等复杂线性结构中的动态熵。
• 利用多种信息论度量检测并表征符号序列中的长程相关性。
• 理解大规模波动在序列组成结构中的作用。
• 比较不同熵和相关性度量在不同长度尺度上的敏感性。

提出的方法

• 计算高阶香农熵以量化信息含量并检测根律标度行为。
• 通过Lempel-Ziv压缩算法估计算法熵，以评估序列的复杂性。
• 计算远距离字符之间的相关函数，以识别长程依赖性。
• 分析低频傅里叶谱，以检测标度行为和长波波动。
• 使用shuffle实验测试每种度量的鲁棒性及其对特定长度尺度的敏感性。
• 应用标度指数以表征相关性幂律衰减的特性。

实验结果

研究问题

• RQ1 符号序列（如DNA和文本）的高阶香农熵具有怎样的标度行为？
• RQ2 Lempel-Ziv压缩估计如何反映长线性序列的算法复杂性？
• RQ3 远距离字符之间的相关函数在多大程度上揭示了长程依赖性？
• RQ4 这些序列中的低频谱分量具有何种性质，它们与组成波动有何关联？
• RQ5 不同信息论度量（熵、相关性、谱）如何在不同长度尺度上检测相关性？

主要发现

• 在高阶香农熵中观察到典型的根律，表明符号序列中存在系统性的标度行为。
• Lempel-Ziv压缩成功估计了算法熵，反映了序列的内在复杂性。
• 相关函数揭示了跨越数百至数千个字符的长程相关性。
• 低频傅里叶谱表现出幂律行为，与序列组成的长波波动一致。
• Shuffle实验表明，每种度量方法——香农熵、压缩和相关性——在不同长度尺度上发挥作用。
• 可检测到的最长相关性在数百至数千个字符的量级，被解释为大规模组成波动。