[论文解读] Multi-resolution Multi-task Gaussian Processes

Oliver Hamelijnck, Theodoros Damoulas+2 more|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 8

一句话总结

本文提出了一种多分辨率多任务高斯过程框架（MRGP），用于整合跨不同时空分辨率和保真度的异构、相关且带噪声的传感器数据。该框架引入了浅层GP混合模型与复合似然函数，以及深度GP架构，以建模任务间与任务内依赖关系，从而在伦敦实现更精确的超本地空气质量估计，相较于先前方法在不确定性量化和预测性能方面均有提升。

ABSTRACT

We consider evidence integration from potentially dependent observation processes under varying spatio-temporal sampling resolutions and noise levels. We develop a multi-resolution multi-task (MRGP) framework while allowing for both inter-task and intra-task multi-resolution and multi-fidelity. We develop shallow Gaussian Process (GP) mixtures that approximate the difficult to estimate joint likelihood with a composite one and deep GP constructions that naturally handle biases in the mean. By doing so, we generalize and outperform state of the art GP compositions and offer information-theoretic corrections and efficient variational approximations. We demonstrate the competitiveness of MRGPs on synthetic settings and on the challenging problem of hyper-local estimation of air pollution levels across London from multiple sensing modalities operating at disparate spatio-temporal resolutions.

研究动机与目标

• 解决在真实世界机器学习应用中整合相关、多分辨率和多保真度观测过程的挑战。
• 克服现有高斯过程模型假设观测独立且无偏的局限性，这些假设会导致后验收缩和性能下降。
• 开发可扩展的、非平稳的、非参数化的时空空气质量估计模型，实现精确的不确定性量化。
• 通过支持任务间与任务内多分辨率和多保真度学习，推广现有方法。
• 在合成数据和伦敦真实世界的超本地空气质量预测任务中，展示该框架的优越性。

提出的方法

• 提出一种浅层GP混合模型mr-gprn，利用复合似然函数校正观测过程之间的依赖关系。
• 通过用任务特定的权重函数建模潜在GP，扩展高斯聚合模型、多任务GP和变分推断。
• 引入一种深度GP结构，通过潜在函数的分层组合自然地处理观测过程中的偏差。
• 采用信息论校正和高效的变分近似方法，提升似然估计和可扩展性。
• 使用固定或学习得到的加权矩阵，将不同分辨率的观测聚合到统一的基于GP的似然框架中。
• 通过将聚合观测建模为潜在GP实现的加权和，并从交叉核积分中推导协方差，将该框架应用于时空数据。

实验结果

研究问题

• RQ1 多分辨率多任务GP框架是否能在不假设独立性或无偏性的情况下，有效整合相关、多保真度和多分辨率的传感器数据？
• RQ2 复合似然函数和变分近似在观测过程间存在复杂依赖关系时，如何改善后验估计？
• RQ3 与浅层模型相比，深度GP架构在多分辨率传感器数据中对偏差和非平稳性的建模能力在多大程度上更优？
• RQ4 所提出的MRGP框架是否在超本地空气质量预测任务中优于现有最先进方法？
• RQ5 当整合具有不同信噪比和时空覆盖范围的数据时，该模型如何保持精确的不确定性量化？

主要发现

• 在观测过程相关时，使用复合似然函数的mr-gprn模型相比标准GP模型显著提升了预测性能。
• 深度GP结构成功捕捉了多分辨率数据中的偏差，在存在系统性测量误差的情境下优于浅层模型。
• 在合成数据上，MRGP框架在非独立同分布和多保真度设置下，预测误差更低，不确定性校准更优。
• 在伦敦空气质量案例研究中，该框架通过融合高频低保真度传感器与低频高保真度地面和卫星数据，实现了精确的超本地预测。
• 该模型对不同采样分辨率和噪声水平表现出鲁棒性，后验方差估计更准确地反映了真实不确定性。
• 采用信息论校正和变分近似方法，相比直接联合似然估计，实现了更稳定和可扩展的推断。