[논문 리뷰] Differential Entropy Rate Characterisations of Long Range Dependent Processes

Andrew Feutrill, Matthew Roughan|arXiv (Cornell University)|2021. 02. 10.

Complex Systems and Time Series Analysis인용 수 8

한 줄 요약

이 논문은 장기적 의존성(LRD)을 가진 가우시안 확률과정의 미분 엔트로피율을 조사하며, LRD 과정의 엔트로피율 수렴 속도가 단기적 의존성(SRD) 과정보다 느리며, 수렴 속도가 $ O\big((1-2H)^2\log n/n\big) $임을 보여준다. 여기서 $ H $는 허스트 매개수이다. 또한 초과 엔트로피가 과거와 미래 간 상호정보량과 동일하다는 것을 입증하여, 모든 LRD 가우시안 과정에서 초과 엔트로피가 무한대임을 시사하며, 음의 상관관계 하에서 분수적 가우시안 노이즈(FGN)와 ARFIMA(0,d,0) 간의 엔트로피 행동이 다름을 드러낸다.

ABSTRACT

A quantity of interest to characterise continuous-valued stochastic processes is the differential entropy rate. The rate of convergence of many properties of LRD processes is slower than might be expected, based on the intuition for conventional processes, e.g. Markov processes. Is this also true of the entropy rate? In this paper we consider the properties of the differential entropy rate of stochastic processes that have an autocorrelation function that decays as a power law. We show that power law decaying processes with similar autocorrelation and spectral density functions, Fractional Gaussian Noise and ARFIMA(0,d,0), have different entropic properties, particularly for negatively correlated parameterisations. Then we provide an equivalence between the mutual information between past and future and the differential excess entropy for stationary Gaussian processes, showing the finiteness of this quantity is the boundary between long and short range dependence. Finally, we analyse the convergence of the conditional entropy to the differential entropy rate and show that for short range dependence that the rate of convergence is of the order $O(n^{-1})$, but it is slower for long range dependent processes and depends on the Hurst parameter.

연구 동기 및 목표

• 장기적 의존성(LRD)을 가진 연속값을 가진 확률과정의 미분 엔트로피율을 특성화하는 것.
• LRD 과정과 단기적 의존성(SRD) 과정 간 조건부 엔트로피가 미분 엔트로피율로 수렴하는 속도의 차이를 조사하는 것.
• 정적(stationary) 가우시안 과정에서 초과 엔트로피와 과거 및 미래 간 상호정보량 간의 관계를 명확히 하는 것.
• 분수적 가우시안 노이즈(FGN)와 ARFIMA(0,d,0)라는 두 가지 표준 LRD 과정의 엔트로피 성질을 비교하며, 특히 음의 상관관계 하에서의 특성을 다루는 것.
• LRD 과정의 엔트로피율 추정기들이 샘플 평균과 유사하게 느린 수렴을 겪는지 여부를 판단하는 것.

제안 방법

• 스펙트럼 밀도와 자기공분산 함수를 사용하여 분수적 가우시안 노이즈(FGN)와 ARFIMA(0,d,0) 과정의 미분 엔트로피율을 유도한다.
• 조건부 엔트로피가 미분 엔트로피율로 수렴하는 것을 분석하기 위해 슈에고의 극한정리(Szeg€›s limit theorems)를 적용한다.
• 정적 가우시안 과정에서 초과 엔트로피와 과거 및 미래 간 상호정보량이 동일하다는 것을 입증한다.
• 부분합 $ \sum_{k=1}^{m} k b_k^2 $ 의 渐近 전개(asymptotic expansions)를 사용하여 조건부 엔트로피의 수렴 속도를 유도한다.
• 허스트 매개수 $ H \to 1 $ 및 $ H \to 0 $ 일 때 엔트로피율의 행동을 분석하며, 특히 음의 상관관계 하에서의 특성을 다룬다.
• 다양한 상관관계 강도 하에서 엔트로피율 표현식의 극(poles)을 분석함으로써 FGN과 ARFIMA(0,d,0)의 엔트로피 행동을 비교한다.

실험 결과

연구 질문

• RQ1 장기적 의존성과 단기적 의존성 가우시안 과정 간 조건부 엔트로피가 미분 엔트로피율로 수렴하는 속도는 어떻게 다를까?
• RQ2 정적 가우시안 과정에서 초과 엔트로피와 과거 및 미래 간 상호정보량 간의 관계는 무엇인가?
• RQ3 분수적 가우시안 노이즈(FGN)와 ARFIMA(0,d,0)는 유사한 스펙트럼 밀도를 가짐에도 불구하고 음의 상관관계 하에서 왜 다른 엔트로피 행동을 보이는가?
• RQ4 장기적 의존성 가우시안 과정의 미분 엔트로피율은 유한한가 무한한가, 그리고 이는 초과 엔트로피에 어떤 의미를 갖는가?
• RQ5 허스트 매개수 $ H $ 는 LRD 과정에서 조건부 엔트로피가 엔트로피율로 수렴하는 속도에 어떻게 영향을 미치는가?

주요 결과

• LRD 가우시안 과정에서 조건부 엔트로피가 미분 엔트로피율로 수렴하는 속도는 $ O\big((1-2H)^2\log n/n\big) $ 이며, 이는 SRD 과정의 $ O(n^{-1}) $ 속도보다 느리다.
• 모든 장기적 의존성 가우시안 과정에서 과거와 미래 간 상호정보량은 무한대이므로, 초과 엔트로피 역시 무한대임을 의미한다.
• FGN의 미분 엔트로피율은 $ H \to 1 $ 일 때 $ -\infty $ 로 수렴하지만, ARFIMA(0,d,0)는 강한 음의 상관관계 하에서도 극을 보이지 않아, 엔트로피 행동이 다름을 시사한다.
• 유사한 스펙트럼 밀도를 가짐에도 불구하고, FGN과 ARFIMA(0,d,0)는 음의 상관관계 하에서 다른 엔트로피율 행동을 보이며, 이는 동치성에 대한 직관과 배치된다.
• 수렴 속도는 $ H \to 1 $ 에 가까워질수록 악화되며, $ (1-2H)^2 $ 요소가 고지속성 영역에서 수렴 속도를 가장 느리게 만든다.
• $ H = 0.5 $ 일 때는 즉각적인 수렴($ O(n^{-1}) $)이 이루어지며, 이는 상관관계가 없는 i.i.d. 노이즈에 해당한다.