[论文解读] A self-calibrating method for heavy tailed data modelling. Application in neuroscience and finance

Nehla Debbabi, Marie Kratz+1 more|arXiv (Cornell University)|Dec 12, 2016

Complex Systems and Time Series Analysis参考文献 28被引用 5

一句话总结

本论文提出了一种自校准的无监督方法，用于建模重尾、多组分数据，通过结合正态分布（用于主体部分）、指数桥接函数和广义帕累托分布（GPD）来处理尾部。该方法采用迭代算法联合估计阈值与模型参数，在整个分布范围内实现精确拟合，在神经科学和标普500金融数据上的应用表现优异，优于标准极值理论（EVT）方法。

ABSTRACT

Modelling non-homogeneous and multi-component data is a problem that challenges scientific researchers in several fields. In general, it is not possible to find a simple and closed form probabilistic model to describe such data. That is why one often resorts to non-parametric approaches. However, when the multiple components are separable, parametric modelling becomes again tractable. In this study, we propose a self-calibrating method to model multi-component data that exhibit heavy tails. We introduce a three-component hybrid distribution: a Gaussian distribution is linked to a Generalized Pareto one via an exponential distribution that bridges the gap between mean and tail behaviors. An unsupervised algorithm is then developed for estimating the parameters of this model. We study analytically and numerically its convergence. The effectiveness of the self-calibrating method is tested on simulated data, before applying it to real data from neuroscience and finance, respectively. A comparison with other standard Extreme Value Theory approaches confirms the relevance and the practical advantage of this new method.

研究动机与目标

• 解决在神经科学和金融等领域的非同质性、多组分、重尾数据建模问题，这些领域中标准参数模型失效。
• 克服传统极值理论（EVT）方法的局限性，这些方法依赖于任意的图形化阈值选择或独立同分布（i.i.d.）假设。
• 开发一种统一的、自校准的参数模型，同时拟合重尾数据的中心部分（正态分布）和尾部行为（GPD）。
• 提供一种稳健的无监督算法，通过迭代方式估计阈值与模型参数，避免对主观阈值选择的依赖。
• 在来自不同领域的真实数据（神经元动作电位序列与标普500对数收益率）上验证该方法，展示其实际应用价值与拟合精度。

提出的方法

• 该方法构建一个三组分混合分布：用正态分布拟合中心行为，用指数分布实现均值与尾部分布之间的平滑过渡，用GPD拟合重尾部分。
• 该模型定义为一个连续的、C¹-正则化的混合分布，各组分之间的连接点通过优化方法迭代估计。
• 采用基于最小二乘优化与Levenberg–Marquardt方法的无监督算法，同时估计所有参数（包括阈值）。
• 算法在理论上分析了部分收敛性，并通过数值模拟验证了另一部分，确保其稳定性和准确性。
• 对于对称或非对称重尾，该方法通过在数据众数（如μ=0）处组合上下尾的G-E-GPD组件，扩展为双侧混合模型。
• 完整分布表示为加权混合形式：h_mix(x) = α₁h(−x;θ₁)𝕀_{]-∞,0[}(x) + α₂h(x;θ₂)𝕀_{[0,+∞[}(x)，并在连接点强制保证连续性。

实验结果

研究问题

• RQ1 自校准的无监督算法能否在不依赖图形化方法的前提下，可靠估计重尾数据混合模型的阈值与参数？
• RQ2 三组分混合模型（正态分布、指数桥接、GPD）在真实世界重尾数据中，能否同时精确拟合中心区域与尾部行为？
• RQ3 与标准极值理论方法（如阈值超限法，POT）相比，所提方法在真实金融与神经数据上的表现如何？
• RQ4 该方法在处理非同质性、多组分数据结构时，如何在保持各分布组分间平滑性与连续性的同时实现有效建模？
• RQ5 迭代参数估计算法的收敛行为如何？其在不同样本规模下的可扩展性如何？

主要发现

• 自校准算法能够准确且稳健地估计GPD尾指数，显著优于标准的图形化或启发式阈值选择方法。
• 在模拟数据上，该方法在整个分布范围内实现精确拟合，中心区域与尾部区域的偏差均极小。
• 在标普500对数收益率数据上的应用中，该方法在拟合经验累积分布函数方面优于标准EVT方法，如图7所示。
• 该方法成功建模了神经元动作电位序列数据，能够高保真度地捕捉典型放电模式与罕见极端事件。
• 该算法在理论上（针对模型部分）与数值上（在模拟中）均实现收敛，展示了参数估计的稳定性和可靠性。
• 该方法具有良好的可扩展性：可轻松适配其他组分分布（如对数正态分布），而无需改变核心算法结构。