[論文レビュー] Estimating Transfer Entropy via Copula Entropy

Jian Ma|arXiv (Cornell University)|Oct 10, 2019

Statistical Methods and Inference参考文献 47被引用数 15

ひとこと要約

本稿では、コプゥラ・エントロピー（CE）を用いた非パラメトリック手法を提案し、伝達エントロピー（TE）をCEのみで表現できることを証明する。北京のPM2.5データに適用した結果、分布の制約を回避し、気象要因と大気汚染の間の因果関係を効果的に推定でき、ガウス分布を仮定する手法に比べて優れている。特に、気象要因がPM2.5に9時間のラグを伴って因果的に影響することが明らかになった。

ABSTRACT

Causal discovery is a fundamental problem in statistics and has wide applications in different fields. Transfer Entropy (TE) is a important notion defined for measuring causality, which is essentially conditional Mutual Information (MI). Copula Entropy (CE) is a theory on measurement of statistical independence and is equivalent to MI. In this paper, we prove that TE can be represented with only CE and then propose a non-parametric method for estimating TE via CE. The proposed method was applied to analyze the Beijing PM2.5 data in the experiments. Experimental results show that the proposed method can infer causality relationships from data effectively and hence help to understand the data better.

研究の動機と目的

• 時系列における因果性の主要指標である伝達エントロピー（TE）を信頼性高く推定する課題に取り組む。これは、高次元の条件付き密度推定が困難であるため、特に推定が難しい。
• TEとコプゥラ・エントロピー（CE）の理論的関係を確立し、TEがCEのみを用いて表現可能であることを証明することで、新たな推定フレームワークの構築を目指す。
• パラメトリック仮定を回避する非パラメトリックでモデルフリーなTE推定手法を開発し、非ガウス的・非線形なシステムにおけるロバスト性を向上させる。
• 実世界の環境データ、具体的には北京のPM2.5および気象時系列データを用いて手法を検証し、大気質ダイナミクスにおける因果関係を解明する。

提案手法

• 伝達エントロピー（TE）がコプゥラ・エントロピー（CE）のみで表現可能であることを理論的に証明し、直接的な条件付き密度推定の必要性を排除する。
• TEの推定は2段階で実施する：まず、非パラメトリックなカーネル密度推定を用いて、結合分布および条件付き分布のCEを推定し、その後、導出されたCEに基づくTE表現を適用する。
• CEと相互情報量（MI）の等価性を活用し、単調変換のもとでも不変な統計的依存の尺度としてCEを強力に利用可能にする。
• 観測時系列データに本手法を適用し、実証的コプゥラ密度推定を用いてCEを計算し、その後、導出された解析的公式を用いてTEに変換する。
• マークフィアンおよび定常性の仮定のもとで推定プロセスを検証し、データ内の時間ラグ付き依存性の実証的分析によってその妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 伝達エントロピーは、コプゥラ・エントロピーのみで表現可能であり、これにより新たな非パラメトリック推定フレームワークが可能になるか？
• RQ2 提案されたCEベースのTE推定手法は、実際の非線形的・非ガウス的時系列、例えば大気質データにおいて因果関係を同定する上で効果的か？
• RQ3 北京における気象要因とPM2.5濃度との間の因果的影響の時間的ラグ構造は何か？
• RQ4 本手法は、ガウス分布を仮定するか、パラメトリックモデルに依存する従来のTE推定手法と比較して、どのように性能を発揮するか？

主な発見

• 提案手法により、露点や気圧といった気象要因がPM2.5濃度に因果的に影響することが明らかになり、ピークとなる因果的影響は約9時間のラグを示した。
• 風速は、それぞれ3時間および5時間の短い遅れで温度および気圧に因果的に影響することが判明し、大気中での迅速なフィードバック機構を示唆した。
• 本手法により、因果的影響が時間とともに蓄積されることが明らかになった。2段階のパターンを示しており、最初の9時間でTEが急激に上昇し、その後は緩やかに増加する傾向を示した。これは、蓄積的かつ大気的なプロセスを示唆する。
• 相関係数では温度とPM2.5の間に上昇が認められなかったのに対し、TEは明確に上昇した。これは、関連性が因果関係を意味しないこと、および本手法が真の因果関係を検出できる能力を有することを示している。
• 非ガウス的・非線形的大気システムにおいて、モデルの誤指定を回避する点で、ガウス分布を仮定するTE推定器に比べて本手法が優れている。