[論文レビュー] copent: Estimating Copula Entropy and Transfer Entropy in R

Jian Ma|arXiv (Cornell University)|May 27, 2020

Statistical Methods and Inference参考文献 27被引用数 4

ひとこと要約

この論文は、k-Nearest Neighbor (kNN) 法を用いた非パラメトリックなコプシラ・エントロピー (CE) とトランスファーエントロピー (TE) の推定を実装する R パッケージ copent を紹介する。このフレームワークは、統計的独立性および条件付き独立性のテストを統合し、特に時間的因果関係の傾向を捉える能力に優れ、シミュレートされたデータおよび実世界のデータにおいて、カーネルベースおよび距離相関法と比較して変数選択および因果発見の分野で優れた性能を示す。

ABSTRACT

Statistical independence and conditional independence are two fundamental concepts in statistics and machine learning. Copula Entropy is a mathematical concept defined by Ma and Sun for multivariate statistical independence measuring and testing, and also proved to be closely related to conditional independence (or transfer entropy). As the unified framework for measuring both independence and causality, CE has been applied to solve several related statistical or machine learning problems, including association discovery, structure learning, variable selection, and causal discovery. The nonparametric methods for estimating copula entropy and transfer entropy were also proposed previously. This paper introduces copent, the R package which implements these proposed methods for estimating copula entropy and transfer entropy. The implementation detail of the package is introduced. Three examples with simulated data and real-world data on variable selection and causal discovery are also presented to demonstrate the usage of this package. The examples on variable selection and causal discovery show the strong ability of copent on testing (conditional) independence compared with the related packages. The copent package is available on the Comprehensive R Archive Network (CRAN) and also on GitHub at https://github.com/majianthu/copent.

研究の動機と目的

• コプシラ・エントロピー (CE) を用いた理論的根拠に基づいた統一的フレームワークを構築し、統計的独立性および条件付き独立性を測定すること。
• k-Nearest Neighbor (kNN) 技術を活用して、R における CE および TE の効率的な非パラメトリック推定法を実装すること。
• 変数選択、構造学習、因果発見への応用を目的とした実用的ツールを提供すること。
• CE に基づく推定法と既存のカーネルベースおよび距離相関法との間で、条件付き独立性テストにおける性能を比較すること。
• 特に気象的因果関係を捉える能力に優れる点を、実世界のデータに対して実証すること。

提案手法

• パッケージは、順位統計を用いた実験的コプシラ関数推定に基づき、非パラメトリックな CE 推定を実装する。
• コプシラ・エントロピーは、Kraskov 他 (2004) が提唱した k-Nearest Neighbor (kNN) 法を用いて推定される。
• トランスファーエントロピー (TE) は、理論的同等性が Jian (2019) で証明されていることを利用して、CE の関数として間接的に推定される。
• 時間遅れ付きデータに対する直接推定を可能にする高水準関数 `transent()` および `ci()` が提供される。
• 生の時系列データおよび時間遅れをあらかじめ処理したデータの両方からの直接推定をサポートする。
• 計算効率および多次元設定へのスケーラビリティを最適化した実装である。

実験結果

リサーチクエスチョン

• RQ1 コプシラ・エントロピーは、多次元データにおける統計的独立性および条件付き独立性（因果関係）のテストを統一的かつ非パラメトリックに可能にするフレームワークを提供できるか？
• RQ2 条件付き独立性テストにおいて、CE に基づく推定法はカーネルベースおよび距離相関法と比較してどのように性能を発揮するか？
• RQ3 copent パッケージは、気象データのような実世界の時系列データにおいて、意味のある因果関係を効果的に検出できるか？
• RQ4 kNN を用いた非パラメトリックな CE および TE の推定は、さまざまな時間遅れにおいて安定的かつ解釈可能な結果をもたらすか？
• RQ5 CE フレームワークは、PM2.5 および大気圧データに観察されるような時間的因果関係の傾向をどれほど正確に捉えることができるか？

主な発見

• copent パッケージは、非パラメトリックな kNN 法を用いてコプシラ・エントロピーおよびトランスファーエントロピーを効果的に推定し、頑健な独立性および因果関係テストを可能にする。
• CE に基づく推定は、1～24時間の時間遅れで気圧からPM2.5への因果関係を分析した際、TE の強度に明確な二段階的傾向（急激な上昇 followed して徐々に減少）を捉えており、気象学的期待と整合的である。
• 距離相関に基づく手法は CE に基づくアプローチと類似した結果を示したが、カーネルベース手法は同様の時間的傾向を示さなかった。
• パッケージは、変数選択および因果発見タスクにおいて優れた性能を示し、条件付き独立性テストにおいて関連する R パッケージを上回った。
• 実装は CRAN および GitHub で利用可能であり、PyPI にも対応する Python パッケージが提供されており、広範な利用可能性と再現可能性を確保している。
• フレームワークは計算的に効率的であり、理論的にも堅牢で、カーネルトリックや距離分散に基づく既存手法の代替としての統一的代替案を提供する。