[논문 리뷰] Revealing Relationships among Relevant Climate Variables with Information Theory

Kevin H. Knuth, Anthony Gotera외 4명|arXiv (Cornell University)|2013. 11. 19.

Forecasting Techniques and Applications참고 문헌 15인용 수 15

한 줄 요약

이 논문은 기후 데이터에서 상호정보량과 전이 엔트로피를 추정하기 위해 최적의 구간화와 디리클레 샘플링을 사용하는 정보이론적 프레임워크를 제안한다. 이와 함께 오차 막대를 제공하며, 이러한 측정치가 비선형적 상관관계와 기후 변수 간의 인과적 상호작용을 식별할 수 있음을 보여준다. 예를 들어, 콜드 톱니 지수와 전 세계 구름량 사이의 관계를 분석함으로써, 복잡한 지구계 시스템의 역학을 신뢰성 있고 불확실성 인식 기반으로 분석할 수 있다.

ABSTRACT

A primary objective of the NASA Earth-Sun Exploration Technology Office is to understand the observed Earth climate variability, thus enabling the determination and prediction of the climate's response to both natural and human-induced forcing. We are currently developing a suite of computational tools that will allow researchers to calculate, from data, a variety of information-theoretic quantities such as mutual information, which can be used to identify relationships among climate variables, and transfer entropy, which indicates the possibility of causal interactions. Our tools estimate these quantities along with their associated error bars, the latter of which is critical for describing the degree of uncertainty in the estimates. This work is based upon optimal binning techniques that we have developed for piecewise-constant, histogram-style models of the underlying density functions. Two useful side benefits have already been discovered. The first allows a researcher to determine whether there exist sufficient data to estimate the underlying probability density. The second permits one to determine an acceptable degree of round-off when compressing data for efficient transfer and storage. We also demonstrate how mutual information and transfer entropy can be applied so as to allow researchers not only to identify relations among climate variables, but also to characterize and quantify their possible causal interactions.

연구 동기 및 목표

• 기후 데이터에서 상호정보량과 전이 엔트로피와 같은 정보이론적 측정치를 불확실성의 양적 평가와 함께 추정할 수 있는 계산 도구를 개발한다.
• 선형 모델이 비정규 분포 통계로 인해 실패할 수 있는 경우에도 관련 기후 변수와 그들의 비선형적 상관관계를 식별한다.
• 엔트로피, 상호정보량, 전이 엔트로피 추정치의 불확실성을 오차 막대와 함께 정량화하여 기후 데이터 분석의 신뢰성을 높인다.
• 전이 엔트로피를 활용해 기후 하위계간의 방향성 있는 정보 흐름을 탐지함으로써 인과적 상호작용을 식별할 수 있도록 한다.
• 데이터 충분성에서 유도된 정보이론적 제약 조건을 바탕으로 최적의 반올림 수준을 결정함으로써 데이터 압축을 지원한다.

제안 방법

• 기후 데이터로부터 확률 밀도 함수를 추정하기 위해 최적의 조각별 상수 히스토그램 모델을 사용하여 추정 오차를 최소화한다.
• 오차 막대를 위한 불확실성 정량화를 위해 상자 빈도 수에 대한 디리클레 분포 샘플링을 적용한다. 이 과정에서 50,000개의 확률 밀도 모델을 생성한다.
• 샘플링된 공동 밀도 모델에서 엔트로피, 상호정보량, 전이 엔트로피를 계산하며, 평균과 표준편차를 추정치와 오차 막대로 사용한다.
• 해상도와 통계적 신뢰성 간의 균형을 고려한 최적의 구간화 기법을 적용하여 밀도 추정에 필요한 충분한 데이터를 확보한다.
• 시간 시리즈 간의 방향성 있는 인과적 영향을 탐지하기 위해 전이 엔트로피 계산에 3차원 밀도 모델을 사용한다.
• 합성 정규 분포 데이터(10,000개 샘플, M=24개 상자)를 대상으로 엔트로피 추정을 검증하였으며, 추정 엔트로피 Hest=1.4231±0.007, 진짜 값 Htrue=1.1489로 나타나 오차 범위 내에 포함됨을 확인하였다.

실험 결과

연구 질문

• RQ1 상호정보량과 전이 엔트로피와 같은 정보이론적 측정치가 기후 변수 간의 비선형적 상관관계를 신뢰성 있게 탐지할 수 있는가?
• RQ2 엔트로피, 상호정보량, 전이 엔트로피 추정치의 불확실성은 어떻게 정량화하고 오차 막대와 함께 보고할 수 있는가?
• RQ3 제한된 기후 데이터로부터 확률 밀도 함수를 추정할 때 최적의 상자 수는 얼마이며, 이는 추정 정확도에 어떤 영향을 미치는가?
• RQ4 전이 엔트로피는 해수면 온도와 구름량 사이와 같은 기후 하위계 간의 방향성 있는 인과적 상호작용을 식별할 수 있는가?
• RQ5 이 방법은 정보를 손실하지 않으면서 허용 가능한 반올림 수준을 결정함으로써 어느 정도까지 데이터 압축을 지원할 수 있는가?

주요 결과

• 최적의 구간화 기법은 표준 정규분포에서 10,000개 샘플에 대해 24개 상자를 최적의 것으로 식별하여 추정 오차를 최소화하였다.
• 50,000개의 디리클레 샘플링된 모델을 사용한 엔트로피 추정에서 Hest=1.4231±0.007을 도출하였으며, 진짜 값 Htrue=1.1489는 표준편차의 한계 내에 포함되었다.
• 상호정보량 맵은 발효적 태평양과 인도네시아 근처의 구름량이 콜드 톱니 지수(CTI)와 가장 강한 관계를 보임을 드러내었으며, 이는 ENSO 역학과 일치한다.
• 태평양 열대 지역의 픽셀 3231(1.25°N, 191.25°W)은 CTI와 가장 높은 상호정보량을 보였으며, 지역적 구름량과 해수면 온도 이상과의 최대 관련성을 나타낸다.
• 최고의 상호정보량을 보인 픽셀에 대한 이元밀도 모델은 인수분해되지 않아, 구름량과 CTI 간에 비영이면서 통계적으로 유의미한 의존성이 있음을 확인하였다.
• 이 프레임워크는 정보이론적 측정치에 대해 오차 막대를 성공적으로 생성하여, 기후 데이터 상관관계 분석의 불확실성 인식 기반 분석을 가능하게 하였다.