[论文解读] Learning to Estimate Without Bias

Tzvi Diskin, Yonina C. Eldar+1 more|arXiv (Cornell University)|Oct 24, 2021

Statistics Education and Methodologies被引用 4

一句话总结

本文提出了一种偏差约束估计器（BCE），将偏差正则化整合到基于深度学习的参数估计中，确保在所有参数值下均实现渐近无偏且最小方差的性能。通过在损失函数中约束期望偏差，BCE 渐近地达到 Cramér-Rao 下界，并在信噪比（SNR）和协方差估计任务中优于标准的基于学习的估计器。

ABSTRACT

The Gauss Markov theorem states that the weighted least squares estimator is a linear minimum variance unbiased estimation (MVUE) in linear models. In this paper, we take a first step towards extending this result to non linear settings via deep learning with bias constraints. The classical approach to designing non-linear MVUEs is through maximum likelihood estimation (MLE) which often involves computationally challenging optimizations. On the other hand, deep learning methods allow for non-linear estimators with fixed computational complexity. Learning based estimators perform optimally on average with respect to their training set but may suffer from significant bias in other parameters. To avoid this, we propose to add a simple bias constraint to the loss function, resulting in an estimator we refer to as Bias Constrained Estimator (BCE). We prove that this yields asymptotic MVUEs that behave similarly to the classical MLEs and asymptotically attain the Cramer Rao bound. We demonstrate the advantages of our approach in the context of signal to noise ratio estimation as well as covariance estimation. A second motivation to BCE is in applications where multiple estimates of the same unknown are averaged for improved performance. Examples include distributed sensor networks and data augmentation in test-time. In such applications, we show that BCE leads to asymptotically consistent estimators.

研究动机与目标

• 解决基于深度学习的参数估计器在平均性能良好但对特定参数值表现不佳的偏差问题。
• 通过引入偏差约束，将经典线性估计理论（如 Gauss–Markov 定理）扩展至非线性场景。
• 开发一种学习框架，确保估计器对未知参数的每个取值均实现渐近无偏且最小方差。
• 在涉及集合平均的应用中提升性能，例如分布式传感器网络和测试时数据增强。

提出的方法

• 引入一种偏差约束损失函数，在训练过程中对所有参数值下的估计器期望偏差进行惩罚。
• 采用具有迭代优化的神经网络架构，估计器通过全连接网络在 50 次迭代中更新其内部参数（如 alpha 和 v 向量）。
• 使用合成数据生成流程，其中协方差参数均匀采样，并从均值为零的高斯分布中生成多个观测值。
• 应用一种改进的损失函数，结合硬标签交叉熵与偏差正则化（L_bias），以在增强数据上强制输出无偏差。
• 通过教师网络采用温度缩放的软标签生成过程，为蒸馏生成高质量的软标签。
• 使用硬标签交叉熵与偏差正则化的组合训练学生网络，并通过小批量内偏差计算，强制每批的偏差均值为零。

Figure 1: Bias of SNR, MSE of SNR and MSE of inverse SNR.

实验结果

研究问题

• RQ1 基于深度学习的估计器能否在所有参数值下实现渐近无偏，同时保持低方差？
• RQ2 在损失函数中引入偏差正则化是否能导致估计器渐近地达到 Cramér-Rao 下界？
• RQ3 与标准的 MSE 最小化网络相比，BCE 框架在信噪比和协方差估计中的性能提升如何？
• RQ4 BCE 是否能在集合平均场景（如数据增强或分布式传感器融合）中保证一致性？

主要发现

• 所提出的偏差约束估计器（BCE）在所有参数值下均渐近实现最小方差无偏估计（MVUE），且不受训练中使用的先验分布影响。
• BCE 渐近地达到 Cramér-Rao 下界，表明其实现了无偏估计器的均方误差理论下限。
• 在信噪比估计和协方差估计任务中，BCE 显著优于标准的 MSE 最小化深度学习估计器，尤其在不同参数值下的偏差降低方面表现突出。
• 在测试时数据增强中，BCE 在对多个估计值进行平均时可实现渐近一致的估计器，优于标准的基于学习的方法。
• 采用温度缩放软标签蒸馏方法的 BCE 框架在 CIFAR-10 图像分类任务中实现了更高的准确率和更低的方差，且在各种数据增强下表现出更强的鲁棒性。
• 实验结果表明，偏差损失中 λ=1000 时，BCE 实现了稳定的收敛，并持续降低偏差，同时不损害整体性能。

Figure 2: Scatter plot of MSEs ordered by CRB values. In (a) the tested $\boldsymbol{y}$ ’s are generated from the training distribution. In (b) the test distribution is different. BCE is near-MVUE and close to the CRB for both distributions, whereas EMMSE is better in (a) and weaker in (b).