[论文解读] Deep Gaussian Processes for Multi-fidelity Modeling
介绍 mf-dgp，一种用于多保真数据的深度高斯过程模型，能够在保真度层级间进行端到端训练和不确定性传播，从而改善不确定性校准并在主动学习与实验设计中提升决策能力。
Multi-fidelity methods are prominently used when cheaply-obtained, but possibly biased and noisy, observations must be effectively combined with limited or expensive true data in order to construct reliable models. This arises in both fundamental machine learning procedures such as Bayesian optimization, as well as more practical science and engineering applications. In this paper we develop a novel multi-fidelity model which treats layers of a deep Gaussian process as fidelity levels, and uses a variational inference scheme to propagate uncertainty across them. This allows for capturing nonlinear correlations between fidelities with lower risk of overfitting than existing methods exploiting compositional structure, which are conversely burdened by structural assumptions and constraints. We show that the proposed approach makes substantial improvements in quantifying and propagating uncertainty in multi-fidelity set-ups, which in turn improves their effectiveness in decision making pipelines.
研究动机与目标
- 在高保真数据稀缺且代价高昂时，激发对可靠多保真建模的需求。
- 开发一个能够联合建模多种保真度的深度高斯过程框架。
- 提供跨保真层的端到端训练与不确定性传播，以避免过拟合。
- 在真实世界和合成基准测试中展示改进的不确定性量化和实际效用。
提出的方法
- 将每个保真度建模为深度高斯过程中的一层，允许跨保真度组合高斯过程。
- 在每一层使用带有诱导点的稀疏变分近似，以实现可处理的推断。
- 定义多保真核，将非线性保真映射和原始输入结合起来（公式 9–11）。
- 采用统一的变分目标（ELBO），对保真度和层求和并带有 KL 正则化（公式 7）。
- 采用随机变分推断进行训练，使用两阶段优化以稳定早期训练。
- 通过输入在前面的保真度中传播并使用 MC 采样（公式 8）来预测任意保真度的输出。
实验结果
研究问题
- RQ1单个深度高斯过程模型是否能够在不过拟合的前提下捕捉保真度之间的非线性关系？
- RQ2与堆叠或自回归模型相比，mf-dgp 的端到端训练是否能提升不确定性校准？
- RQ3在具有线性和非线性保真映射的合成多保真任务中，mf-dgp 的表现如何？
- RQ4mf-dgp 是否能够扩展到大型真实数据集，同时保持可靠的不确定性估计？
主要发现
- mf-dgp 在数据稀缺区域产生保守且经过良好校准的不确定性。
- 在合成基准测试中，mf-dgp 在 R^2、RMSE 和 mnll 上优于 ar1 和 nargp，覆盖线性与非线性保真映射。
- 在一个大型真实世界的疟疾数据集中，使用小批量训练的 mf-dgp 的 RMSE 为 0.063，低于仅高保真GP 的 0.096。
- mf-dgp 通过以后验协方差作为核的 Determinantal Point Processes 支持实验设计。
- 跨保真度的端到端训练避免过拟合，并相比先前的多保真方法提升后验不确定性传播。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。