[论文解读] An Interpolating Family of Size Distributions

Corinne Sinner, Yves Dominicy+3 more|arXiv (Cornell University)|Jun 14, 2016

Statistical Distribution Estimation and Applications参考文献 31被引用 3

一句话总结

本文提出了一种在 $[x_0, ∞)$ 上的新型五参数插值型大小分布族，可平滑地连接幂律分布（如帕累托分布）与带指数截断的幂律分布（如威布尔分布），相较于广义贝塔分布，提供了更高的可处理性与灵活性。该模型支持对多种数据形态的无缝建模，关键函数具有闭式表达式，并具备稳健的最大似然估计能力。

ABSTRACT

We introduce a new five-parameter family of size distributions on the semi-finite interval $[x_0, \infty), x_0 \geqslant 0$, with two attractive features. First, it interpolates between power laws, such as the Pareto distribution, and power laws with exponential cut-off, such as the Weibull distribution. The proposed family is thus very flexible and spans over a broad range of well-known size distributions which are special cases of our family. Second, it has important tractability advantages over the popular five-parameter Generalized Beta distribution. We derive the hazard function, survival function, modes and quantiles, propose a random number generation procedure and discuss maximum likelihood estimation issues. Finally, we illustrate the wide applicability and fitting capacities of our new model on basis of three real data sets from very diverse domains, namely actuarial science, environmental science and survival analysis.

研究动机与目标

• 解决在各类经验应用中选择幂律分布与带指数截断的幂律分布之间的挑战。
• 开发一个统一的、灵活的大小分布族，可在帕累托型与威布尔型之间插值，同时保持数学可处理性。
• 通过提供更简单的归一化常数与更清晰的参数解释，克服广义贝塔分布的局限性。
• 确保模型可通过推导出的失效率、生存函数、分位数函数与众数函数，支持实际的统计推断。
• 在精算学、环境科学与生存分析等真实世界领域中，展示其广泛应用性。

提出的方法

• 提出一种在 $[x_0, ∞)$ 上的概率密度函数，通过灵活的变换在幂律分布与带指数截断的幂律分布之间实现插值。
• 利用位置参数 $x_0$、尺度参数 $c$ 以及形状参数 $b$、$p$、$q$ 定义该分布，并给出闭式密度函数。
• 通过解析方法推导出生存函数与失效率函数，支持可靠性与风险建模应用。
• 通过求解密度函数的一阶导数，以闭式表达众数，并对子族 IF1、IF2 与 IF3 分别进行分析。
• 基于逆变换抽样方法，利用分位数函数开发随机变量生成过程。
• 实现最大似然估计，并讨论可识别性与数值稳定性问题，尤其针对生存分析中的右删失数据。

实验结果

研究问题

• RQ1 单一灵活的分布族是否能有效插值幂律行为与带指数截断的幂律行为？
• RQ2 在多种数据类型下，所提模型相较于广义贝塔分布，在可处理性与拟合性能方面表现如何？
• RQ3 新分布族中失效率、生存函数与众数函数的解析性质为何？
• RQ4 该模型能否准确拟合来自不同领域的真实世界数据，如精算索赔规模、环境极端事件与生存数据？
• RQ5 形状参数如何影响分布的行为，特别是在重尾与轻尾分布之间的转换过程中？

主要发现

• 所提出的插值分布族包含帕累托分布与威布尔分布作为特例，且广义贝塔分布为其极限情况，展现出广泛的包容性。
• 新分布的归一化常数不涉及特殊函数，相较于广义贝塔分布，显著提升了计算可处理性。
• 对子族 IF1（$p=0$）、IF2（$p \to \infty$）与 IF3（$b=1$）的众数均以闭式推导得出，并提供了明确表达式。
• 对于 IF1，当 $b > 1$ 或 $b < -1/q$ 时，众数为 $x_0 + c\left(\frac{b-1}{bq+1}\right)^{1/b}$，否则出现在边界处。
• 对于 IF3，众数为 $x_0 + c(p+1)^{-1/q}\left(\left(\frac{q+1}{(p+1)q+1}\right)^{-1/q} - 1\right)$，当 $p, q \to 0$ 时收敛至边界。
• 该模型在三个真实数据集上表现出色：精算索赔规模、环境风速与生存数据，其拟合效果与可解释性均优于标准替代模型。