[论文解读] Bayesian Approaches to Distribution Regression

Ho Chung Leon Law, Danica J. Sutherland+2 more|arXiv (Cornell University)|May 11, 2017

Bayesian Methods and Mixture Models被引用 17

一句话总结

本文提出了一种贝叶斯方法用于分布回归，同时考虑了核均值嵌入（由于组大小不同而产生的不确定性）和回归模型参数的不确定性。通过将贝叶斯推断整合到基于神经网络的模型中，该方法提升了鲁棒性和预测性能，尤其在组大小不平衡的数据上表现更优，通过在IMDb-WIKI数据集上的年龄估计任务中优于非贝叶斯基线模型，验证了其优越性。

ABSTRACT

Distribution regression has recently attracted much interest as a generic solution to the problem of supervised learning where labels are available at the group level, rather than at the individual level. Current approaches, however, do not propagate the uncertainty in observations due to sampling variability in the groups. This effectively assumes that small and large groups are estimated equally well, and should have equal weight in the final regression. We account for this uncertainty with a Bayesian distribution regression formalism, improving the robustness and performance of the model when group sizes vary. We frame our models in a neural network style, allowing for simple MAP inference using backpropagation to learn the parameters, as well as MCMC-based inference which can fully propagate uncertainty. We demonstrate our approach on illustrative toy datasets, as well as on a challenging problem of predicting age from images.

研究动机与目标

• 为解决现有分布回归方法忽略群体观测中抽样变异性的问题。
• 开发能够同时传播输入分布嵌入和回归参数不确定性的贝叶斯模型。
• 在组大小高度不平衡的场景下（如从名人图像中进行年龄估计）提升预测性能。
• 通过神经网络架构实现灵活的深度特征学习，同时保持不确定性量化能力。
• 在真实世界中具有挑战性的数据集（如IMDb-WIKI）上展示不确定性感知模型的有效性。

提出的方法

• 该论文使用核均值嵌入将输入分布表示为再生核希尔伯特空间（RKHS）中的点，从而实现对分布的非参数化表示。
• 提出一种贝叶斯均值收缩模型，通过非参数先验对核均值嵌入估计中的不确定性进行建模，同时对回归函数使用MAP估计。
• 提出一种完全贝叶斯分布回归（BDR）模型，结合嵌入和回归参数的不确定性，使用哈密顿蒙特卡洛（HMC）进行推断。
• 采用神经网络架构（如径向基网络）学习输入分布的表达性、数据驱动的表示，支持端到端的反向传播训练。
• 模型支持通过反向传播进行MAP推断，也支持通过MCMC进行完整的后验推断，从而在推断目标上具有灵活性。
• 通过早停和交叉验证调整超参数，并使用地标采样以实现大规模数据集上的高效推断。

实验结果

研究问题

• RQ1 在组大小变化时，对核均值嵌入中的不确定性进行建模，如何提升分布回归的性能？
• RQ2 对输入嵌入和回归参数均采用贝叶斯建模，是否能比基于点估计的基线方法实现更好的泛化性能？
• RQ3 不确定性感知建模在真实世界中组大小不平衡的数据集（如IMDb-WIKI）上的年龄估计任务中，能在多大程度上提升预测性能？
• RQ4 在鲁棒性和准确性方面，不同的贝叶斯推断策略（MAP、收缩、完整MCMC）之间有何差异？
• RQ5 基于神经网络的特征学习能否与分布回归中的贝叶斯不确定性传播有效结合？

主要发现

• 贝叶斯收缩模型在IMDb-WIKI年龄估计任务中表现最佳，在全部10组数据划分中均优于其他所有方法。
• 该方法将RMSE降低至9.28（0.20），MAE降低至3.54（0.021），显著优于非贝叶斯收缩模型和基线CNN模型。
• 尽管非贝叶斯收缩模型的RMSE略优，但贝叶斯收缩模型在全部10组数据划分中展现出更优的鲁棒性和泛化能力。
• 结果表明，在分布回归中对群体级嵌入的不确定性进行建模，对于处理高度不平衡的组大小至关重要。
• 采用HMC推断的BDR模型实现了完整的后验不确定性传播，验证了该框架处理具有高变异性的真实世界数据的能力。
• 研究证实，对输入表示和模型参数的不确定性进行传播，相比标准的点估计方法，能带来更可靠、更准确的预测。