[论文解读] Prediction of Ordered Random Effects in a Simple Small Area Model

Yaakov Malinovsky, Yosef Rinott|arXiv (Cornell University)|Sep 24, 2009

Statistical Methods and Bayesian Inference参考文献 17被引用 4

一句话总结

本文提出了一种针对简单小区域估计（SAE）模型中有序随机效应的收缩型预测器，表明其在均方误差（MSE）方面显著优于朴素的有序估计器。该方法通过经验贝叶斯收缩向总体均值，并利用对期望交叉乘积的界推导出最优收缩因子，实现了接近不可计算的最优贝叶斯预测器的性能。

ABSTRACT

Prediction of a vector of ordered parameters or part of it arises naturally in the context of Small Area Estimation (SAE). For example, one may want to estimate the parameters associated with the top ten areas, the best or worst area, or a certain percentile. We use a simple SAE model to show that estimation of ordered parameters by the corresponding ordered estimates of each area separately does not yield good results with respect to MSE. Shrinkage-type predictors, with an appropriate amount of shrinkage for the particular problem of ordered parameters, are considerably better, and their performance is close to that of the optimal predictors, which cannot in general be computed explicitly.

研究动机与目标

• 解决在简单小区域估计（SAE）模型中预测有序小区域参数（如最优、中位或最差区域）的挑战。
• 证明直接对单个区域预测器进行排序会导致因选择偏差而导致MSE性能差。
• 开发一种简单且稳健的基于收缩的预测器，用于有序参数，避免复杂的贝叶斯计算。
• 推导出所提出的收缩预测器优于无序参数标准经验贝叶斯预测器的条件。
• 提供有序预测最优收缩因子的理论界，使无需完整数值积分即可实现实际应用。

提出的方法

• 提出形式为 $\widehat{\theta}_{(i)}^{[2]}(\gamma) = \gamma y_{(i)} + (1-\gamma)\overline{y}$ 的收缩型预测器，其中 $y_{(i)}$ 为有序样本值，$\overline{y}$ 为总体均值。
• 通过最小化期望MSE推导最优收缩参数 $\gamma$，得到 $\gamma = 1 - \frac{E\sum (y_{(i)} - \theta_{(i)})(y_{(i)} - \overline{y})}{(m-1)(\sigma_u^2 + \sigma_e^2)}$，该表达式解析上不可计算，但可界定。
• 利用重排不等式和柯西-施瓦茨不等式，推导出不可计算期望项的下界和上界。
• 证明当 $\gamma^* \leq \left(\frac{m - \sqrt{(m-1)^2 + 1}}{2}\right)^2$ 时，所提出的预测器 $\widehat{\theta}^{[2]}(\gamma)$ 支配标准经验贝叶斯预测器 $\widehat{\theta}^{[1]}$。
• 将模型应用于费-赫里奥德和巴特塞-哈特-富勒SAE框架，通过充分统计量将多观测情形简化为简单模型。
• 采用经验贝叶斯方法从数据中估计 $\mu$、$\sigma_u^2$ 和 $\sigma_e^2$，实现无需完整贝叶斯计算的实际应用。

实验结果

研究问题

• RQ1 为何对单个区域预测器（如 $\widehat{\theta}_i = y_i$）进行朴素排序会导致在预测最大值或中位数等有序参数时性能差？
• RQ2 当目标是估计有序随机效应而非单个区域参数时，能否设计一种简单基于收缩的预测器，使其优于标准经验贝叶斯预测器？
• RQ3 预测有序参数时，向总体均值收缩的最优程度是多少？如何在不进行完整贝叶斯计算的情况下对其进行近似？
• RQ4 在何种方差分量（$\sigma_u^2$、$\sigma_e^2$）条件下，所提出的收缩预测器会优于无序参数的标准预测器？
• RQ5 对期望交叉乘积 $E\sum (y_{(i)} - \theta_{(i)})(y_{(i)} - \overline{y})$ 的理论界如何指导对稳健、模型稳健的有序效应预测器的设计？

主要发现

• 通过将单个经验贝叶斯估计 $\widehat{\theta}_i = E(\theta_i|\mathbf{y})$ 朴素排序进行预测，由于选择偏差，MSE较高，尤其当 $m$ 增大时更为明显。
• 所提出的收缩预测器 $\widehat{\theta}^{[2]}(\gamma)$ 在 $\gamma \in [0,1]$ 范围内，其MSE性能接近不可计算的最优贝叶斯预测器 $E(\theta_{(i)}|\mathbf{y})$。
• 最优收缩因子 $\gamma$ 由对不可计算期望项的界推导得出，当 $\gamma^* \leq \left(\frac{m - \sqrt{(m-1)^2 + 1}}{2}\right)^2$ 时，该预测器支配标准经验贝叶斯预测器。
• 当 $m > 2$ 时，最优 $\gamma$ 严格小于1，表明向均值收缩对准确预测有序参数至关重要。
• 由于方法的简洁性以及依赖于矩估计界而非完整似然计算，该方法对模型误设具有鲁棒性。
• 利用重排不等式和柯西-施瓦茨不等式，推导出 $E\sum (y_{(i)} - \theta_{(i)})(y_{(i)} - \overline{y})$ 的理论界，使无需数值积分即可实现实际应用。