[论文解读] Covariate-Powered Empirical Bayes Estimation

Nikolaos Ignatiadis, Stefan Wager|arXiv (Cornell University)|Jun 4, 2019

Machine Learning and Algorithms参考文献 61被引用 8

一句话总结

本文提出了一种协变量驱动的经验贝叶斯估计器，通过结合噪声实验结果与辅助协变量，改进大规模并行实验中真实效应的估计。通过利用任意黑箱预测模型对条件均值进行插值，并通过SURE估计方差分量，该方法在常数因子范围内达到极小化风险，并在模型误设情况下表现出稳健的收敛性。

ABSTRACT

We study methods for simultaneous analysis of many noisy experiments in the presence of rich covariate information. The goal of the analyst is to optimally estimate the true effect underlying each experiment. Both the noisy experimental results and the auxiliary covariates are useful for this purpose, but neither data source on its own captures all the information available to the analyst. In this paper, we propose a flexible plug-in empirical Bayes estimator that synthesizes both sources of information and may leverage any black-box predictive model. We show that our approach is within a constant factor of minimax for a simple data-generating model. Furthermore, we establish robust convergence guarantees for our method that hold under considerable generality, and exhibit promising empirical performance on both real and simulated data.

研究动机与目标

• 通过整合噪声实验结果与丰富的辅助协变量信息，改进大规模并行实验中真实效应的估计。
• 开发一种灵活的经验贝叶斯框架，可整合任意黑箱预测模型以估计给定协变量下真实效应的条件均值。
• 在均值函数满足正则性条件的假设下，建立理论保证，证明该方法在常数因子范围内接近极小化风险。
• 即使在假设的高斯分层模型被误设的情况下，也提供稳健的收敛性与性能保证。

提出的方法

• 提出一种插值型经验贝叶斯估计器，基于估计的条件均值 $ \hat{m}(X_i) $ 和估计的方差分量 $ \hat{A} $，结合观测结果 $ Z_i $ 与协变量 $ X_i $，采用收缩规则。
• 利用Stein的无偏风险估计（SURE）来估计方差分量 $ A $，从而实现收缩强度的数据驱动校准。
• 采用两样本分割策略：一个样本用于估计 $ \hat{m}(X_i) $，另一个用于估计 $ \hat{A} $，以确保独立性并实现有效推断。
• 在均值函数 $ m(\cdot) $ 满足Lipschitz型正则性假设的条件下，推导出估计问题的极小化风险下界。
• 证明所提出的估计器在常数因子范围内达到该下界，且该常数因子与 $ \sigma^2 $ 和 $ A $ 无关。
• 将James-Stein结果推广至更一般分布假设下的 $ \mu_i \mid X_i $，证明其在一般分布下优于原始 $ Z_i $ 和 $ \hat{m}(X_i) $ 估计器。

实验结果

研究问题

• RQ1 统一的经验贝叶斯框架能否有效结合噪声实验结果与辅助协变量，以改进真实效应的估计？
• RQ2 在有限样本下，如何自适应地估计观测结果与协变量预测之间收缩强度的最优值？
• RQ3 在模型误设情况下，该估计器的风险可提供何种理论保证？
• RQ4 在均值函数满足正则性条件的非参数设定下，该方法是否能在常数因子范围内实现极小化最优性？

主要发现

• 所提出的估计器在高斯分层模型下，当均值函数 $ m(\cdot) $ 未知时，其极小化风险在常数因子范围内接近最优贝叶斯风险。
• 该方法在广泛条件下提供稳健的收敛保证，包括 $ \mu_i \mid X_i $ 的条件分布非高斯的情形。
• 在真实与模拟数据上的实证结果表明性能优异，显著优于原始结果估计与仅基于协变量的预测。
• 证明基于SURE的方差分量 $ A $ 估计器在期望下是一致的，收敛速度为 $ O(1/\sqrt{n}) $。
• 理论分析证实，该方法在广泛设定下优于基准估计器 $ \hat{\mu}_i = Z_i $ 和 $ \hat{\mu}_i = \hat{m}(X_i) $。
• 该方法对模型误设具有鲁棒性，如通过将James-Stein结果推广至 $ \mu_i \mid X_i $ 的一般分布所证实。