[论文解读] Inference for High-dimensional Maximin Effects in Heterogeneous Regression Models Using a Sampling Approach.

Zijian Guo|arXiv (Cornell University)|Nov 15, 2020

Advanced Statistical Methods and Models参考文献 47被引用 6

一句话总结

本文提出了一种新颖的采样方法，用于在协变量分布因训练群体与目标群体不同而存在异质性的高维最大化最小效应（maximin effects）回归模型中构建置信区间。通过使用去偏回归协方差矩阵估计量和岭型聚合权重，该方法即使在混合分布权重和非正态渐近分布的情况下，也能确保统计稳定性与推断有效性。

ABSTRACT

Heterogeneity is an important feature of modern data sets and a central task is to extract information from large-scale and heterogeneous data. In this paper, we consider multiple high-dimensional linear models and adopt the definition of maximin effect (Meinshausen, B{u}hlmann, AoS, 43(4), 1801--1830) to summarize the information contained in this heterogeneous model. We define the maximin effect for a targeted population whose covariate distribution is possibly different from that of the observed data. We further introduce a ridge-type maximin effect to simultaneously account for reward optimality and statistical stability. To identify the high-dimensional maximin effect, we estimate the regression covariance matrix by a debiased estimator and use it to construct the aggregation weights for the maximin effect. A main challenge for statistical inference is that the estimated weights might have a mixture distribution and the resulted maximin effect estimator is not necessarily asymptotic normal. To address this, we devise a novel sampling approach to construct the confidence interval for any linear contrast of high-dimensional maximin effects. The coverage and precision properties of the proposed confidence interval are studied. The proposed method is demonstrated over simulations and a genetic data set on yeast colony growth under different environments.

研究动机与目标

• 解决高维异质回归模型中的统计推断挑战，其中目标群体的协变量分布与观测数据不同。
• 定义并估计一种岭型最大化最小效应，以在高维设置下平衡奖励最优性与统计稳定性。
• 开发一种对混合分布聚合权重和最大化最小效应估计量非渐近正态性具有鲁棒性的置信区间构造方法。

提出的方法

• 为协变量分布可能与观测数据不同的目标群体定义最大化最小效应。
• 使用去偏估计量估计高维回归协方差矩阵，以减少高维设置下的偏差。
• 在聚合权重中引入岭型正则化，以增强最大化最小效应估计量的稳定性和最优性。
• 提出一种新颖的采样方法，以近似线性对比的 maximize effect 的抽样分布，从而实现有效的置信区间构造。
• 利用抽样分布构造置信区间，即使在估计权重服从混合分布时也能保持覆盖率和精度。
• 通过模拟和在环境变化下对酿酒酵母菌落生长遗传数据集的应用，验证该方法。

实验结果

研究问题

• RQ1 当目标群体的协变量分布与观测数据不同时，如何可靠地估计高维回归模型中的最大化最小效应？
• RQ2 混合分布的聚合权重对最大化最小效应估计量的渐近分布有何影响？如何在这一条件下实现有效的推断？
• RQ3 在高维设置下，岭型正则化是否能提升最大化最小效应估计量的稳定性和最优性？
• RQ4 所提出的采样方法在构建线性对比的 maximize effect 置信区间时，其覆盖率和精度表现如何？
• RQ5 该方法在具有异质性的现实世界高维数据（如环境变化下的遗传数据）上的实证表现如何？

主要发现

• 所提出的采样方法即使在聚合权重服从混合分布且最大化最小效应估计量非渐近正态时，也能成功构造出覆盖率准确的置信区间。
• 岭型最大化最小效应估计量通过在高维设置下平衡预测性能与方差，展现出改进的稳定性和最优性。
• 对回归协方差矩阵的去偏估计能有效减少偏差，从而在高维模型中实现可靠的推断。
• 模拟结果表明，该方法在各种高维和异质性场景下均能保持适当的覆盖率和精度。
• 在酿酒酵母遗传数据的应用中，该方法在不同环境条件下均识别出稳健的最大化最小效应，展示了其在真实世界异质数据中的实际应用价值。