[论文解读] Exploratory data analysis for moderate extreme values using non-parametric kernel methods

Boris Béranger, Tarn Duong+2 more|arXiv (Cornell University)|Feb 29, 2016

Climate variability and models参考文献 63被引用 7

一句话总结

本文提出了一种基于变换的核密度估计器，通过减少边界偏差和虚假尾部凸起，改进了重尾分布和有界数据中中等极端值的非参数估计。通过在核平滑前将数据变换到重尾较轻的空间，该方法实现了更优的尾部分布行为，并对极值阈值选择具有更强的鲁棒性，同时推导出该估计器的渐近偏差和方差的闭式表达式，以支持理论验证和实际应用。

ABSTRACT

In many settings it is critical to accurately model the extreme tail behaviour of a random process. Non-parametric density estimation methods are commonly implemented as exploratory data analysis techniques for this purpose as they possess excellent visualisation properties, and can naturally avoid the model specification biases implied by using parametric estimators. In particular, kernel-based estimators place minimal assumptions on the data, and provide improved visualisation over scatterplots and histograms. However kernel density estimators are known to perform poorly when estimating extreme tail behaviour, which is important when interest is in process behaviour above some large threshold, and they can over-emphasise bumps in the density for heavy tailed data. In this article we develop a transformation kernel density estimator, and demonstrate that its mean integrated squared error (MISE) efficiency is equivalent to that of standard, non-tail focused kernel density estimators. Estimator performance is illustrated in numerical studies, and in an expanded analysis of the ability of well known global climate models to reproduce observed temperature extremes in Sydney, Australia.

研究动机与目标

• 为解决标准核密度估计器在建模重尾或有界分布中中等极端值时的局限性。
• 减少传统非参数方法在尾部分布估计中常见的虚假凸起和边界效应。
• 开发一种对极值阈值选择不敏感的鲁棒非参数方法。
• 推导所提估计器的渐近偏差和方差的闭式表达式，以支持理论理解与实际实现。
• 通过数值研究和澳大利亚悉尼的真实气候建模应用，展示该方法的有效性。

提出的方法

• 该方法对数据应用对数变换，将原始支撑集映射到实直线，从而稳定尾部分布行为并减少核密度估计中的边界效应。
• 对变换后的数据应用多元核密度估计器，利用标准核平滑方法并结合带宽选择。
• 应用逆变换将估计的密度映射回原始空间，保留极端尾部的形状。
• 理论分析推导出估计器的渐近偏差和方差的闭式表达式，其中包含变换的雅可比行列式以及真实密度的高阶导数。
• 该方法对尾部区域的阈值选择表现出鲁棒性，因为变换减轻了对极值阈值选择的敏感性。
• 该方法被扩展至多变量情形，使无需假设参数族即可分析极值依赖结构。

实验结果

研究问题

• RQ1 能否使非参数核密度估计器在重尾和有界数据中具有鲁棒性，同时减少尾部区域的虚假凸起？
• RQ2 与标准核估计器相比，所提出的变换核方法在中等极端值的偏差和方差方面表现如何？
• RQ3 估计器的性能在多大程度上对极值阈值的选择敏感？
• RQ4 基于变换的方法能否改善气候数据中极端尾部分布行为的可视化与推断？
• RQ5 所提变换核估计器的理论性质——特别是渐近偏差和方差——是什么？

主要发现

• 与标准核密度估计器相比，变换核估计器显著减少了尾部区域的虚假凸起，尤其在重尾数据中表现更优。
• 估计器的渐近偏差和方差以闭式表达式推导得出，表明由于变换的稳定效应，其在尾部区域表现更优。
• 该方法对极值阈值选择表现出鲁棒性，减少了传统估计器常见的敏感性问题。
• 数值研究证实，该估计器在中等极端值的均方积分误差（MISE）方面优于标准核方法。
• 在气候建模应用中，该方法成功识别出全球气候模型在再现悉尼观测温度极端事件方面的能力缺陷。
• 基于变换的方法使极端事件的探索性数据分析更加可靠，且无需对尾部分布施加参数假设。