[论文解读] A Bounded Derivative Method for the Maximum Likelihood Estimation on Weibull Parameters

DeTao Mao, Wenyuan Li|ArXiv.org|Jun 26, 2009

Probabilistic and Robust Engineering Design参考文献 12被引用 4

一句话总结

本文提出了一种新颖的有界导数根求解算法，用于两参数威布尔分布的最大似然估计（MLE）。通过证明估计函数一阶导数的全局单调性和尺度无关性，该方法在每次迭代中对解的范围进行约束，确保收敛速率小于 1/2。数值实验表明，与弦截法、二分法或牛顿-拉夫森法相比，该方法显著减少了函数求值次数。

ABSTRACT

For the basic maximum likelihood estimating function of the two parameters Weibull distribution, a simple proof on its global monotonicity is given to ensure the existence and uniqueness of its solution. The boundary of the function's first-order derivative is defined based on its scale-free property. With a bounded derivative, the possible range of the root of this function can be determined. A novel root-finding algorithm employing these established results is proposed accordingly, its convergence is proved analytically as well. Compared with other typical algorithms for this problem, the efficiency of the proposed algorithm is also demonstrated by numerical experiments.

研究动机与目标

• 建立威布尔分布 MLE 估计函数全局单调性的严格且简洁的证明，确保解的唯一性和存在性。
• 利用一阶导数的尺度无关性，定义每次迭代中根的可行范围的紧致边界。
• 开发一种新的根求解算法，保证收敛性，且无需初始参数猜测。
• 通过减少函数求值次数，提高计算效率，优于牛顿-拉夫森法、弦截法和二分法等现有 MLE 方法。
• 通过在多种参数和样本量设置下进行广泛的数值实验，展示该算法的鲁棒性与速度。

提出的方法

• 通过数学归纳法证明 MLE 估计函数 $ F(k) $ 的全局单调性，确保对所有 $ k > 0 $ 都有 $ \partial F(k)/\partial k > 0 $。
• 证明一阶导数的尺度无关性，从而可在所有尺度参数下定义导数的上下界。
• 在每次迭代中，利用 $ F(k_i) $ 的符号和有界导数，将可行区间 $[k_L^i, k_U^i]$ 缩小至少一半，确保收敛速率 $ \gamma < 1/2 $。
• 提出一种混合算法，当进入最终线性化区域时，从有界导数法切换至弦截法，结合了鲁棒性与快速收敛性。
• 该方法避免了对初始值的需求，与牛顿-拉夫森法和弦截法不同，仅依赖函数符号评估和导数边界。
• 使用 MATLAB 实现并测试了该算法，共进行 1,000 次模拟，参数范围为 $ k \in (0,40] $，$ \lambda \in (0,40] $，$ n \in [2,1000] $。

实验结果

研究问题

• RQ1 能否为威布尔分布 MLE 估计函数提供一个简单直接的全局单调性证明，以确保唯一解的存在性？
• RQ2 估计函数的一阶导数是否表现出尺度无关性，从而使其范围可独立于数据尺度进行界定？
• RQ3 能否利用有界导数信息构建一种根求解算法，保证收敛性且无需初始参数猜测？
• RQ4 与弦截法、二分法和牛顿-拉夫森法等既有的 MLE 方法相比，所提算法在计算效率上表现如何？
• RQ5 有界导数法与弦截法的混合方法在实际中能否同时实现鲁棒性与快速收敛？

主要发现

• 所提算法的收敛速率严格小于 1/2，通过有界导数性质的分析方法得到严格证明。
• 在 $ \epsilon = 10^{-1} $ 的数值实验中，所提方法平均仅需 1.68 次函数求值，而弦截法需 9.42 次。
• 在 $ \epsilon = 10^{-4} $ 时，所提方法使用 5.05 次求值，而二分法使用 14.19 次，弦截法使用 130.6 次。
• 对于构造的 $ \epsilon = 10^{-10} $ 情况，所提方法仅需 5 次求值，而弦截法需 833 次，二分法需 33 次。
• 混合算法在高精度下优于纯弦截法和二分法，因其能提前切换至更快的弦截阶段。
• 该方法无需初始参数估计，与牛顿-拉夫森法和弦截法不同，从而在实际应用中增强了鲁棒性。