[论文解读] Empirical Bayes When Estimation Precision Predicts Parameters

Jiafeng Chen|arXiv (Cornell University)|Dec 29, 2022

Fault Detection and Control Systems被引用 8

一句话总结

本文提出了一种名为 'close' 的新型经验贝叶斯方法，通过将参数给定估计精度的条件分布建模为位置尺度族，放松了传统方法中对先验独立性的严格假设。该方法在平方误差贝叶斯后悔的收敛速率上达到最优， worst-case 情况下具有鲁棒性，并在从机会地图集（Opportunity Atlas）中选择高流动性普查区时优于标准收缩方法，对15项流动性指标中的6项，其增益超过了随机选择。

ABSTRACT

Gaussian empirical Bayes methods usually maintain a precision independence assumption: The unknown parameters of interest are independent from the known standard errors of the estimates. This assumption is often theoretically questionable and empirically rejected. This paper proposes to model the conditional distribution of the parameter given the standard errors as a flexibly parametrized location-scale family of distributions, leading to a family of methods that we call CLOSE. The CLOSE framework unifies and generalizes several proposals under precision dependence. We argue that the most flexible member of the CLOSE family is a minimalist and computationally efficient default for accounting for precision dependence. We analyze this method and show that it is competitive in terms of the regret of subsequent decisions rules. Empirically, using CLOSE leads to sizable gains for selecting high-mobility Census tracts.

研究动机与目标

• 为解决标准经验贝叶斯方法中假设参数与估计精度独立所带来的理论与实证缺陷。
• 开发一种能处理异方差性以及参数估计与其标准误之间依赖关系的方法。
• 在最小假设下建立所提方法的理论最优性与鲁棒性。
• 提升基于地点的经济流动性分析中的政策相关决策质量。
• 通过使用机会地图集数据，在真实世界应用中展示该方法的实践优越性。

提出的方法

• 为给定标准误的参数条件分布提出一个位置尺度族模型，放松了先验独立性假设。
• 在所提模型下推导出非参数最大似然估计器，用于估计混合分布。
• 利用经验过程理论与覆盖数界，建立该方法在平方误差贝叶斯后悔上的收敛速率最优性。
• 通过具有次高斯增量的链式论证，控制函数类上经验过程的上确界。
• 采用基于半范数的直径控制与度量熵积分，界定过程的 ψ₂-范数，确保一致收敛。
• 通过 GitHub 上开源的 R 包 'close' 实现该方法。

实验结果

研究问题

• RQ1 通过放松参数估计与精度独立的假设，能否改进经验贝叶斯方法？
• RQ2 在异方差条件下，所提方法是否对最小化平方误差贝叶斯后悔达到收敛速率最优？
• RQ3 该方法在最坏情况下的模型误设下是否仍保持鲁棒性？
• RQ4 与标准收缩方法和随机选择相比，该方法在选择高流动性普查区时表现如何？
• RQ5 在基于地点的经济流动性研究中，考虑参数-精度依赖关系在多大程度上能提升政策相关推断？

主要发现

• 所提出的 'close' 方法在平方误差贝叶斯后悔上达到收敛速率最优，实现了在给定模型下的极小化收敛速率。
• 平方误差后悔控制足以应对广泛类别的经济决策问题，验证了将后悔作为性能准则的合理性。
• 该方法在最坏情况模型误设下仍保持鲁棒性，性能表现强劲。
• 在机会地图集的应用中，由 'close' 选择的普查区平均流动性高于标准收缩方法所选区域。
• 在15项流动性指标中的6项中，'close' 相较于标准收缩方法的改进程度，超过了标准收缩方法相较于随机选择的改进程度。
• 该方法的理论保证得到了非渐近概率界的支持，其推导基于经验过程技术与覆盖数。