[论文解读] Differential Entropy Rate Characterisations of Long Range Dependent Processes

Andrew Feutrill, Matthew Roughan|arXiv (Cornell University)|Feb 10, 2021

Complex Systems and Time Series Analysis被引用 8

一句话总结

本文研究了长程依赖（LRD）高斯过程的微分熵率，表明与短程依赖（SRD）过程相比，LRD过程的熵率收敛速度更慢，收敛速率为 $ O\big((1-2H)^2\log n/n\big) $，其中 $ H $ 为赫斯特参数。研究证明，过剩熵等于过去与未来之间的互信息，这意味着所有LRD高斯过程的过剩熵均为无穷大，并揭示了在负相关条件下，分数布朗噪声（FGN）与ARFIMA(0,d,0)之间存在发散的熵行为。

ABSTRACT

A quantity of interest to characterise continuous-valued stochastic processes is the differential entropy rate. The rate of convergence of many properties of LRD processes is slower than might be expected, based on the intuition for conventional processes, e.g. Markov processes. Is this also true of the entropy rate? In this paper we consider the properties of the differential entropy rate of stochastic processes that have an autocorrelation function that decays as a power law. We show that power law decaying processes with similar autocorrelation and spectral density functions, Fractional Gaussian Noise and ARFIMA(0,d,0), have different entropic properties, particularly for negatively correlated parameterisations. Then we provide an equivalence between the mutual information between past and future and the differential excess entropy for stationary Gaussian processes, showing the finiteness of this quantity is the boundary between long and short range dependence. Finally, we analyse the convergence of the conditional entropy to the differential entropy rate and show that for short range dependence that the rate of convergence is of the order $O(n^{-1})$, but it is slower for long range dependent processes and depends on the Hurst parameter.

研究动机与目标

• 表征长程依赖（LRD）连续型随机过程的微分熵率。
• 研究条件熵向微分熵率收敛的速度在LRD与短程依赖（SRD）过程之间的差异。
• 澄清平稳高斯过程中过剩熵与过去和未来之间互信息的关系。
• 比较两种典型LRD过程——分数布朗噪声（FGN）与ARFIMA(0,d,0)的熵特性，尤其在负相关情况下的表现。
• 确定LRD过程的熵率估计器是否也像其他估计器（如样本均值）一样面临收敛缓慢的问题。

提出的方法

• 利用谱密度和自相关函数推导分数布朗噪声（FGN）和ARFIMA(0,d,0)过程的微分熵率。
• 应用施瓦茨极限定理分析条件熵向微分熵率的收敛性。
• 建立平稳高斯过程中过剩熵与过去和未来之间互信息的等价性。
• 通过部分和 $ \sum_{k=1}^{m} k b_k^2 $ 的渐近展开推导条件熵的收敛速率。
• 分析赫斯特参数 $ H \to 1 $ 和 $ H \to 0 $ 时熵率的行为，尤其在负相关条件下。
• 通过分析熵率表达式中极点随相关强度变化的行为，比较FGN与ARFIMA(0,d,0)的熵行为。

实验结果

研究问题

• RQ1 长程依赖与短程依赖高斯过程在条件熵向微分熵率收敛速度上存在何种差异？
• RQ2 在平稳高斯过程中，过剩熵与过去和未来之间互信息之间存在何种关系？
• RQ3 为何尽管谱密度相似，FGN与ARFIMA(0,d,0)在负相关条件下表现出不同的熵行为？
• RQ4 长程依赖高斯过程的微分熵率是有限还是无限？这对过剩熵有何含义？
• RQ5 赫斯特参数 $ H $ 如何影响LRD过程中条件熵向熵率收敛的速度？

主要发现

• LRD高斯过程的条件熵向微分熵率收敛的速率为 $ O\big((1-2H)^2\log n/n\big) $，慢于SRD过程的 $ O(n^{-1}) $ 收敛速率。
• 所有长程依赖高斯过程的过去与未来之间的互信息均为无穷大，意味着过剩熵也无穷大。
• 当 $ H \to 1 $ 时，FGN的微分熵率趋于 $ -\infty $，但ARFIMA(0,d,0)在强负相关下不表现出极点，表明其熵行为存在发散。
• 尽管谱密度相似，FGN与ARFIMA(0,d,0)在负相关条件下表现出不同的熵率行为，与直观的等价性预期相矛盾。
• 随着 $ H \to 1 $，收敛速率恶化，$ (1-2H)^2 $ 因子导致高持久性状态下收敛最慢。
• 当 $ H = 0.5 $ 时，收敛为瞬时（$ O(n^{-1}) $），对应于无相关性的i.i.d.噪声。