[论文解读] Using Fisher Information In Big Data

Nasir Ahmad, Sybil Derrible+2 more|arXiv (Cornell University)|Jul 1, 2015

Complex Systems and Time Series Analysis参考文献 31被引用 15

一句话总结

本文提出使用费雪信息（FI）作为分析大数据趋势和检测系统不稳定性（尤其是制度转变）的工具。通过计算1960至2013年美国的人均GDP和人口的时间序列数据的FI，作者展示了其捕捉动态秩序与稳定性变化的能力，表明FI是识别复杂数据集中系统性转变的稳健指标。

ABSTRACT

In this era of Big Data, proficient use of data mining is the key to capture useful information from any dataset. As numerous data mining techniques make use of information theory concepts, in this paper, we discuss how Fisher information (FI) can be applied to analyze patterns in Big Data. The main advantage of FI is its ability to combine multiple variables together to inform us on the overall trends and stability of a system. It can therefore detect whether a system is losing dynamic order and stability, which may serve as a signal of an impending regime shift. In this work, we first provide a brief overview of Fisher information theory, followed by a simple step-by-step numerical example on how to compute FI. Finally, as a numerical demonstration, we calculate the evolution of FI for GDP per capita (current US Dollar) and total population of the USA from 1960 to 2013.

研究动机与目标

• 探讨费雪信息（FI）在分析大数据中常见大规模复杂数据集的应用。
• 展示FI检测动态秩序丧失与系统不稳定性的能力，以提示潜在的制度转变。
• 提供一种在现实数据情境中计算FI的实用、分步方法。
• 评估FI在真实经济与人口时间序列数据（人均GDP与总人口）上的表现。

提出的方法

• 本文引入费雪信息理论，作为概率分布中统计信息的度量。
• 通过得分函数及其方差，推导连续概率密度函数的费雪信息。
• 提供一个数值示例，说明对简单分布进行FI的分步计算过程。
• 将该方法应用于真实世界的时间序列数据：1960至2013年美国的人均GDP（现值美元）与总人口。
• 通过数据的经验概率密度，在每个时间点计算费雪信息，以捕捉分布形态的变化。
• 可视化FI随时间的演变，以评估系统稳定性和动态秩序的趋势。

实验结果

研究问题

• RQ1 在大数据背景下，费雪信息应如何有效计算与解释？
• RQ2 费雪信息能否在复杂系统的时间序列数据中检测到系统性不稳定或制度转变？
• RQ3 当费雪信息应用于人均GDP与人口等经济与人口数据时，能提供哪些见解？
• RQ4 费雪信息的演变如何反映随时间推移的潜在数据生成过程的变化？

主要发现

• 费雪信息成功捕捉了美国经济与人口随时间的动态秩序与稳定性变化。
• 人均GDP与总人口的费雪信息计算值显示出明显趋势，表明系统稳定性的增强或减弱时期。
• 该方法表明，即使传统汇总统计量保持稳定，FI仍能检测到大数据中的结构性变化或制度转变。
• 数值示例表明，通过适当的密度估计，FI的计算在现实数据集中是可行且可解释的。