[论文解读] Revealing Relationships among Relevant Climate Variables with Information Theory

Kevin H. Knuth, Anthony Gotera+4 more|arXiv (Cornell University)|Nov 19, 2013

Forecasting Techniques and Applications参考文献 15被引用 15

一句话总结

本文提出了一种基于信息论的框架，利用最优分箱和狄利克雷采样，从气候数据中估计互信息和转移熵，并附带误差条。该方法展示了这些度量能够识别气候变量之间的非线性关系和因果相互作用——例如冷舌指数与全球云覆盖率之间的关系——从而实现对复杂地球系统动力学的稳健、带有不确定性认知的分析。

ABSTRACT

A primary objective of the NASA Earth-Sun Exploration Technology Office is to understand the observed Earth climate variability, thus enabling the determination and prediction of the climate's response to both natural and human-induced forcing. We are currently developing a suite of computational tools that will allow researchers to calculate, from data, a variety of information-theoretic quantities such as mutual information, which can be used to identify relationships among climate variables, and transfer entropy, which indicates the possibility of causal interactions. Our tools estimate these quantities along with their associated error bars, the latter of which is critical for describing the degree of uncertainty in the estimates. This work is based upon optimal binning techniques that we have developed for piecewise-constant, histogram-style models of the underlying density functions. Two useful side benefits have already been discovered. The first allows a researcher to determine whether there exist sufficient data to estimate the underlying probability density. The second permits one to determine an acceptable degree of round-off when compressing data for efficient transfer and storage. We also demonstrate how mutual information and transfer entropy can be applied so as to allow researchers not only to identify relations among climate variables, but also to characterize and quantify their possible causal interactions.

研究动机与目标

• 开发计算工具，用于从气候数据中估计信息论量（如互信息和转移熵）并量化不确定性。
• 识别相关气候变量及其非线性关系，特别是在线性模型因非高斯统计特性而失效的情况下。
• 为熵、互信息和转移熵的估计提供误差条，以量化气候数据分析中的不确定性。
• 通过转移熵检测气候子系统之间的因果相互作用，其能够捕捉方向性信息流。
• 通过基于数据充分性推导的信息论约束，确定最优舍入水平，从而支持数据压缩。

提出的方法

• 使用最优分段常数直方图模型从气候数据中估计概率密度函数，以最小化估计误差。
• 在箱格计数上应用狄利克雷分布采样，生成50,000个概率密度模型以进行不确定性量化。
• 从采样的联合密度模型中计算熵、互信息和转移熵，以均值和标准差作为估计值及误差条。
• 采用最优分箱技术，在分辨率与统计可靠性之间取得平衡，确保密度估计有足够的数据支持。
• 使用三维密度模型进行转移熵计算，以检测时间序列之间的方向性因果影响。
• 在合成高斯数据上验证熵估计（10,000个样本，M=24个箱），结果显示估计熵Hest=1.4231±0.007，而真实值Htrue=1.1489，落在一个标准差范围内。

实验结果

研究问题

• RQ1 信息论度量（如互信息和转移熵）是否能够可靠地检测气候变量之间的非线性关系？
• RQ2 如何对熵、互信息和转移熵估计中的不确定性进行量化并以误差条形式报告？
• RQ3 从有限气候数据中估计概率密度函数时，最优箱数是多少？这如何影响估计精度？
• RQ4 转移熵是否能够识别气候子系统（如海表温度与云覆盖率）之间的方向性因果相互作用？
• RQ5 该方法在多大程度上可通过确定可接受的舍入水平来支持数据压缩，而不会造成信息损失？

主要发现

• 最优分箱方法在10,000个样本的标准正态分布中识别出24个箱为最优，使估计误差最小化。
• 使用50,000个狄利克雷采样模型进行熵估计，得到Hest=1.4231±0.007，真实值Htrue=1.1489落在一个标准差范围内。
• 互信息图显示，赤道太平洋和印度尼西亚附近的云覆盖率与冷舌指数（CTI）的关系最强，与ENSO动力学一致。
• 赤道太平洋中像素3231（1.25°N, 191.25°W）与CTI的互信息最高，表明该区域云覆盖率与海表温异常之间具有最大相关性。
• 互信息最高的像素的联合二维密度模型不可分解，证实云覆盖率与CTI之间存在非零且统计显著的依赖关系。
• 该框架成功生成了信息论度量的误差条，实现了对气候数据关系的不确定性认知分析。