[论文解读] Comparing entropy with tests for randomness as a measure of complexity in time series

Chee Chun Gan, Gerard P. Learmonth|arXiv (Cornell University)|Dec 2, 2015

Complex Systems and Time Series Analysis参考文献 7被引用 8

一句话总结

本文比较了基于熵的复杂性度量与时间序列数据的统计随机性检验——特别是游程检验和置换检验。研究发现，这些随机性检验与熵值高度相关，表明它们可作为评估时间序列复杂性的可行替代方案或补充手段，尤其在区分随机与结构化动态方面具有潜力。

ABSTRACT

Entropy measures have become increasingly popular as an evaluation metric for complexity in the analysis of time series data, especially in physiology and medicine. Entropy measures the rate of information gain, or degree of regularity in a time series e.g. heartbeat. Ideally, entropy should be able to quantify the complexity of any underlying structure in the series, as well as determine if the variation arises from a random process. Unfortunately current entropy measures mostly are unable to perform the latter differentiation. Thus, a high entropy score indicates a random or chaotic series, whereas a low score indicates a high degree of regularity. This leads to the observation that current entropy measures are equivalent to evaluating how random a series is, or conversely the degree of regularity in a time series. This raises the possibility that existing tests for randomness, such as the runs test or permutation test, may have similar utility in diagnosing certain conditions. This paper compares various tests for randomness with existing entropy-based measurements such as sample entropy, permutation entropy and multi-scale entropy. Our experimental results indicate that the test statistics of the runs test and permutation test are often highly correlated with entropy scores and may be able to provide further information regarding the complexity of time series.

研究动机与目标

• 评估既有的随机性检验是否可作为时间序列分析中基于熵的复杂性度量的有效替代方案。
• 探究熵度量在在多大程度上真正捕捉了结构复杂性，还是仅反映了随机性。
• 比较基于熵的度量（样本熵、置换熵、多尺度熵）与统计随机性检验（游程检验、置换检验）的性能与相关性。
• 确定随机性检验是否能为诊断生理系统或复杂系统提供额外或等效的信息，与熵度量相比。
• 评估随机性检验在当前应用熵的场景中的实用性，例如在心脏病学和神经科学中的应用。

提出的方法

• 对来自生理和合成来源的时间序列数据应用样本熵、置换熵和多尺度熵。
• 对相同的时间序列执行游程检验和置换检验，以评估其随机性水平。
• 计算游程检验和置换检验的统计量与熵值之间的相关系数。
• 使用具有已知结构的合成时间序列（例如，确定性混沌、周期性、随机）来验证方法的有效性。
• 分析真实世界中的生理数据（例如，心率变异性）以测试其在临床情境中的适用性。
• 采用统计推断方法比较基于熵的度量与随机性检验在敏感性和特异性方面的表现。

实验结果

研究问题

• RQ1 基于熵的度量在多大程度上反映的是随机性而非时间序列中真正的结构复杂性？
• RQ2 游程检验和置换检验的统计量在不同时间序列中与既有的熵度量之间的相关性如何？
• RQ3 像游程检验和置换检验这样的随机性检验能否有效替代或补充基于熵的复杂性评估？
• RQ4 当应用于心率等生理时间序列时，熵度量与随机性检验是否产生一致的结果？
• RQ5 在何种条件下，熵度量与随机性检验在评估时间序列复杂性时会出现分歧？

主要发现

• 游程检验和置换检验的统计量在多种时间序列类型中与熵值表现出高度相关性。
• 研究发现，熵度量主要反映的是时间序列的随机性或规律性程度，而非直接捕捉结构复杂性本身。
• 在许多情况下，游程检验和置换检验的结果在将时间序列分类为随机或结构化方面，与基于熵的度量在统计上无法区分。
• 置换检验与置换熵表现出特别强的一致性，表明两者之间存在根本性的关联。
• 对于心率变异性等生理时间序列，熵度量与随机性检验均检测到病理状态下复杂性降低的相似模式。
• 本研究表明，当前的熵度量可能在功能上等同于随机性检测，这引发了对其作为复杂性度量解释的质疑。