[논문 리뷰] copent: Estimating Copula Entropy and Transfer Entropy in R

Jian Ma|arXiv (Cornell University)|2020. 05. 27.

Statistical Methods and Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 k-Nearest Neighbor (kNN) 방법을 사용하여 Copula Entropy (CE)와 Transfer Entropy (TE)의 비모수적 추정을 구현하는 R 패키지 copent을 소개한다. 이 프레임워크는 통계적 인과성과 조건부 인과성 테스트를 통합하여, 시뮬레이션 및 실세계 데이터에서 커널 기반 및 거리 상관계수 방법에 비해 변수 선택 및 인과성 탐지에서 뛰어난 성능을 보이며, 특히 의미 있는 시간적 인과 경향을 포착하는 데 유리하다.

ABSTRACT

Statistical independence and conditional independence are two fundamental concepts in statistics and machine learning. Copula Entropy is a mathematical concept defined by Ma and Sun for multivariate statistical independence measuring and testing, and also proved to be closely related to conditional independence (or transfer entropy). As the unified framework for measuring both independence and causality, CE has been applied to solve several related statistical or machine learning problems, including association discovery, structure learning, variable selection, and causal discovery. The nonparametric methods for estimating copula entropy and transfer entropy were also proposed previously. This paper introduces copent, the R package which implements these proposed methods for estimating copula entropy and transfer entropy. The implementation detail of the package is introduced. Three examples with simulated data and real-world data on variable selection and causal discovery are also presented to demonstrate the usage of this package. The examples on variable selection and causal discovery show the strong ability of copent on testing (conditional) independence compared with the related packages. The copent package is available on the Comprehensive R Archive Network (CRAN) and also on GitHub at https://github.com/majianthu/copent.

연구 동기 및 목표

• Copula Entropy (CE)를 사용하여 통계적 인과성과 조건부 인과성 측정을 위한 통합적이고 이론적으로 타당한 프레임워크를 개발하는 것.
• k-Nearest Neighbor (kNN) 기법을 활용하여 R에서 CE와 TE에 대한 효율적인 비모수적 추정 방법을 구현하는 것.
• 변수 선택, 구조 학습 및 인과성 탐지에 응용 가능한 실용적 도구를 제공하는 것.
• 기존의 커널 기반 및 거리 상관계수 방법과 비교하여, CE 기반 추정의 조건부 인과성 테스트 성능을 평가하는 것.
• 특히 기상학적 인과 관계를 포착하는 데 효과적인지 실세계 데이터에서의 성능을 입증하는 것.

제안 방법

• 패키지는 순위 통계량을 사용한 경험적 코풀라 함수 추정을 통해 비모수적 CE 추정을 구현한다.
• Copula Entropy는 Kraskov 등(2004)이 제안한 k-Nearest Neighbor (kNN) 방법을 사용하여 추정한다.
• Transfer Entropy (TE)는 Jian(2019)에서 증명한 이론적 등가성에 기반해 CE의 함수로 간접적으로 추정한다.
• 시간 지연 데이터에 직접적으로 적용 가능한 고수준 함수인 `transent()` 및 `ci()`를 제공한다.
• 원시 시간 시리즈에서의 직접 추정과 시간 지연 처리된 데이터에서의 추정을 모두 지원한다.
• 계산 효율성과 다변량 설정에의 확장성을 고려하여 최적화된 구현을 제공한다.

실험 결과

연구 질문

• RQ1 Copula Entropy는 다변량 데이터에서 통계적 인과성과 조건부 인과성(인과성)을 테스트하기 위한 통합적 비모수적 프레임워크로 기능할 수 있는가?
• RQ2 CE 기반 추정의 성능은 조건부 인과성 테스트에서 커널 기반 및 거리 상관계수 방법과 비교해 어떻게 다른가?
• RQ3 copent 패키지는 기상학적 데이터와 같은 실세계 시간 시리즈에서 의미 있는 인과 관계를 효과적으로 탐지할 수 있는가?
• RQ4 kNN 기반 비모수적 추정은 다양한 시간 지연에서 CE와 TE에 대해 안정적이고 해석 가능한 결과를 제공하는가?
• RQ5 CE 프레임워크는 PM2.5와 대기압 데이터에서 관찰되는 시간적 인과 경향을 얼마나 잘 포착하는가?

주요 결과

• copent 패키지는 비모수적 kNN 기반 방법을 사용하여 Copula Entropy와 Transfer Entropy를 성공적으로 추정하여 강력한 인과성 및 독립성 테스트를 가능하게 한다.
• 압력에서 PM2.5로의 인과성 분석에서 1~24시간 지연 간격을 고려할 때, TE 강도에 대해 명확한 이단계 경향(급격한 증가 후 서서히 감소)을 CE 기반 추정이 포착하였으며, 기상학적 기대와 일치한다.
• 거리 상관계수 기반 방법은 CE 기반 접근과 유사한 결과를 보였지만, 커널 기반 방법은 동일한 시간적 경향을 보이지 못했다.
• 패키지는 변수 선택 및 인과성 탐지 과업에서 뛰어난 성능을 보이며, 조건부 인과성 테스트에서 관련 R 패키지들을 능가했다.
• 패키지는 CRAN과 GitHub에 배포되어 있으며, PyPI에도 동반되는 파이썬 패키지가 존재하여 광범위한 접근성과 재현 가능성을 확보했다.
• 프레임워크는 계산적으로 효율적이며 이론적으로 타당하여, 기존의 커널 트릭 또는 거리 공분산 기반 방법의 통합적 대안을 제공한다.