[論文レビュー] Differential Entropy Rate Characterisations of Long Range Dependent Processes

Andrew Feutrill, Matthew Roughan|arXiv (Cornell University)|Feb 10, 2021

Complex Systems and Time Series Analysis被引用数 8

ひとこと要約

本稿は、長-range依存性（LRD）を持つガウス過程の微分エントロピー率を調査し、LRD過程では短-range依存性（SRD）過程よりもエントロピー率への収束が遅く、収束速度が $ O\big((1-2H)^2\log n/n\big) $ であることを示している。ここで $ H $ はフラクタル次元パラメータである。また、過剰エントロピーが過去と未来の間の相互情報量に等しいことを確立し、すべてのLRDガウス過程において過剰エントロピーが無限大であることを示した。さらに、負の相関下で、分数次ガウスノイズ（FGN）とARFIMA(0,d,0)の間でエントロピー的挙動が著しく異なることが明らかになった。

ABSTRACT

A quantity of interest to characterise continuous-valued stochastic processes is the differential entropy rate. The rate of convergence of many properties of LRD processes is slower than might be expected, based on the intuition for conventional processes, e.g. Markov processes. Is this also true of the entropy rate? In this paper we consider the properties of the differential entropy rate of stochastic processes that have an autocorrelation function that decays as a power law. We show that power law decaying processes with similar autocorrelation and spectral density functions, Fractional Gaussian Noise and ARFIMA(0,d,0), have different entropic properties, particularly for negatively correlated parameterisations. Then we provide an equivalence between the mutual information between past and future and the differential excess entropy for stationary Gaussian processes, showing the finiteness of this quantity is the boundary between long and short range dependence. Finally, we analyse the convergence of the conditional entropy to the differential entropy rate and show that for short range dependence that the rate of convergence is of the order $O(n^{-1})$, but it is slower for long range dependent processes and depends on the Hurst parameter.

研究の動機と目的

• 長-range依存性（LRD）を持つ連続値の確率過程の微分エントロピー率を特徴づけること。
• LRDと短-range依存性（SRD）の両過程において、条件付きエントロピーが微分エントロピー率に収束する速度の違いを調査すること。
• 定常ガウス過程における過剰エントロピーと過去と未来の間の相互情報量の関係を明確にすること。
• 代表的な2つのLRDプロセス、分数次ガウスノイズ（FGN）とARFIMA(0,d,0)のエントロピー的性質を比較すること、特に負の相関下での挙動に注目すること。
• LRDプロセスのエントロピー率推定器が、サンプル平均など他の推定器と同様に収束が遅い問題を有するかどうかを特定すること。

提案手法

• スペクトル密度関数と自己相関関数を用いて、分数次ガウスノイズ（FGN）およびARFIMA(0,d,0)プロセスの微分エントロピー率を導出する。
• Szeg€œの極限定理を適用して、条件付きエントロピーが微分エントロピー率に収束する過程を分析する。
• 定常ガウス過程において、過剰エントロピーと過去と未来の間の相互情報量が等価であることを確立する。
• 部分和 $ \sum_{k=1}^{m} k b_k^2 $ の漸近的展開を用いて、条件付きエントロピーの収束速度を導出する。
• フラクタル次元パラメータ $ H \to 1 $ および $ H \to 0 $ のときのエントロピー率の挙動を、特に負の相関下で分析する。
• 相関強度の変化に伴うエントロピー率式における極の挙動を検討することで、FGNとARFIMA(0,d,0)のエントロピー的挙動を比較する。

実験結果

リサーチクエスチョン

• RQ1 長-range依存性と短-range依存性の両方のガウス過程において、条件付きエントロピーが微分エントロピー率に収束する速度はどのように異なるか？
• RQ2 定常ガウス過程において、過剰エントロピーと過去と未来の間の相互情報量の関係は何か？
• RQ3 FGNとARFIMA(0,d,0)はスペクトル密度が類似しているが、負の相関下でなぜ異なるエントロピー的挙動を示すのか？
• RQ4 長-range依存性ガウス過程の微分エントロピー率は有限か無限か？ これは過剰エントロピーにどのような意味を持つのか？
• RQ5 フラクタル次元パラメータ $ H $ は、LRDプロセスにおける条件付きエントロピーがエントロピー率に収束する速度にどのように影響するか？

主な発見

• LRDガウス過程における条件付きエントロピーが微分エントロピー率に収束する速度は $ O\big((1-2H)^2\log n/n\big) $ であり、これはSRD過程の $ O(n^{-1}) $ より遅い。
• すべての長-range依存性ガウス過程において、過去と未来の間の相互情報量は無限大であり、これは過剰エントロピーも無限大であることを示唆する。
• FGNの微分エントロピー率は $ H \to 1 $ のとき $ -\infty $ に近づくが、ARFIMA(0,d,0)は強い負の相関下でも極を示さないため、エントロピー的挙動が著しく異なる。
• スペクトル密度が類似しているにもかかわらず、負の相関下でFGNとARFIMA(0,d,0)のエントロピー率挙動が異なることは、等価性の直感に反する。
• 収束速度は $ H \to 1 $ に近づくにつれて劣化し、$ (1-2H)^2 $ 要素が高持続的状態での収束が最も遅くなる原因となる。
• $ H = 0.5 $ では収束が即時（$ O(n^{-1}) $）であり、これは相関のない独立同分布ノイズに対応する。