[论文解读] Modeling extreme values by the residual coefficient of variation

Joan del Castillo, Maria Padilla|arXiv (Cornell University)|Oct 1, 2015

Reservoir Engineering and Simulation Methods被引用 4

一句话总结

本文提出了一种基于广义帕累托分布（GPD）建模中残差变异系数（CV）的稳健阈值选择方法，扩展其在具有无限阶矩的重尾分布中的适用性。该方法通过数据变换稳定高阈值推断中的CV，并在丹麦火灾保险损失数据上验证其性能，结果显示与传统方法相比，极端值指数ξ ≈ 0.5–0.6的估计具有更高的样本量和可靠性。

ABSTRACT

The possibilities of the use of the coefficient of variation over a high threshold in tail modelling are discussed. The paper also considers multiple threshold tests for a generalized Pareto distribution, together with a threshold selection algorithm. One of the main contributions is to extend the methodology based on moments to all distributions, even without finite moments. These techniques are applied to Danish fire insurance losses.

研究动机与目标

• 通过引入稳定重尾数据CV的数据变换，将残差变异系数（CV）的应用扩展至所有分布，包括无有限矩的分布。
• 基于多重阈值检验与残差CV，开发一种客观、自动化的阈值选择算法，减少极端值建模中的主观性。
• 在真实世界数据集——丹麦火灾保险损失数据上验证所提方法，显示其估计结果与已有结果一致，同时提升了样本量与估计精度。
• 通过证明检测恒定CV在统计上比检测超额值中的线性趋势更简单可靠，提供一种稳健的均值超额图替代方案。
• 通过基于变换的CV稳定化方法，实现对无限方差模型（ξ > 0.5）中极端值指数ξ的准确估计，克服原始CV方法（ξ < 0.25）的局限性。

提出的方法

• 提出对原始数据进行变换：$ Z = -1/(X + \frac{\tilde{\theta}}{\tilde{\nu}}) + \frac{1}{\tilde{\theta}} $，其中$ \tilde{\theta} $和$ \tilde{\nu} $分别为尺度与形状参数的最大似然估计（MLE），将重尾GPD数据转化为轻尾数据，并使极值指数符号反转。
• 在变换后的数据上应用残差CV，该CV在GPD假设下趋于恒定，从而可通过可视化与统计检验检测稳定的尾部行为。
• 采用多重阈值检验统计量$ T_m $，定义为经验CV与理论值$ c_\nu = \frac{1}{\nu} $的偏差平方和，用于检验数据是否服从给定ξ的GPD。
• 开发一种自动化的阈值选择算法，通过顺序剔除最低24%的数据（按顺序统计量），并利用基于模拟推断的p值检验残差CV的恒定性。
• 使用CV图（经验残差CV与阈值的关系）作为诊断工具，与传统的均值超额图进行比较，其优势在于尺度不变性与单参数恒定性检测。
• 将该方法应用于丹麦火灾保险数据集（n=2445），对数据进行变换，并在多个阈值下检验CV的恒定性，以识别GPD拟合的最优高阈值区域。

实验结果

研究问题

• RQ1 在方差无限的重尾分布中，传统基于矩的方法失效时，残差变异系数（CV）能否可靠用于检测GPD行为？
• RQ2 如何将残差CV方法扩展至原始限制（ξ < 0.25）之外，以建模ξ > 0.25的极重尾数据？
• RQ3 所提出的基于变换的方法在真实世界保险损失数据上的应用，能否产生一致且准确的极端值指数ξ估计？
• RQ4 基于残差CV稳定性的客观、自动化阈值选择算法，是否能优于极端值分析中主观的均值超额图视觉检查？
• RQ5 在使用变换后数据的残差CV方法中，样本量对ξ估计精度有何影响？

主要发现

• 变换$ Z = -1/(X + \frac{\tilde{\theta}}{\tilde{\nu}}) + \frac{1}{\tilde{\theta}} $成功稳定了重尾数据的残差CV，使得即使在矩不存在的情况下，也能实现ξ的可靠估计。
• 对于丹麦火灾保险数据集，变换后数据（Z）的残差CV图显示CV稳定在约0.675，支持ξ ≈ 0.599的GPD假设，与MLE估计的ξ = 0.50（标准误=0.14）一致。
• 自动阈值选择算法在数据变换后识别出最后951个观测值的残差CV保持稳定，得到ξ = 0.599，p值=0.167，表明其稳健性，并显著优于传统方法中仅109个观测值的子集。
• 该方法证实，ξ ≈ 0.5的GPD模型不仅适用于前109个最大值，也适用于更大的951个观测值子集，显著提升了估计精度。
• 当m=20时，多重阈值检验$ T_m $的p值为0.421（ξ=0.5），无法拒绝原假设，支持ξ=0.50的GPD拟合。
• CV方法估计的极端值指数（ξ ≈ 0.60）位于MLE估计（0.50 ± 0.28）的95%置信区间内，证明了所提方法的一致性与可靠性。