[论文解读] Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression

Zhongjie Yu, Mingye Zhu+3 more|arXiv (Cornell University)|Jun 16, 2021

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

该论文提出MOMoGP，一种基于概率电路构建单输出高斯过程专家混合模型的可扩展、精确推理方法，用于非参数多输出回归。通过递归划分输入空间和输出空间，MOMoGP高效捕捉输出间的相关性，实现O(KM³)时间复杂度的精确后验推断，在Energy和usFlight等大规模数据集上表现出更低的负对数预测密度（NLPD），优于当前最先进方法，在预测不确定性估计方面表现更优。

ABSTRACT

Inspired by recent advances in the field of expert-based approximations of Gaussian processes (GPs), we present an expert-based approach to large-scale multi-output regression using single-output GP experts. Employing a deeply structured mixture of single-output GPs encoded via a probabilistic circuit allows us to capture correlations between multiple output dimensions accurately. By recursively partitioning the covariate space and the output space, posterior inference in our model reduces to inference on single-output GP experts, which only need to be conditioned on a small subset of the observations. We show that inference can be performed exactly and efficiently in our model, that it can capture correlations between output dimensions and, hence, often outperforms approaches that do not incorporate inter-output correlations, as demonstrated on several data sets in terms of the negative log predictive density.

研究动机与目标

• 解决现有基于专家的高斯过程模型仅关注单输出回归且难以有效建模输出间相关性的局限性。
• 通过在概率电路中构建单输出GP专家的混合结构，实现在大规模多输出回归中高效且精确的后验推断。
• 利用输入空间与输出空间的递归分解，建模输出维度间的复杂依赖关系，同时避免输出维度呈立方增长的计算成本。
• 提升多输出回归中的预测不确定性量化能力，这对图像超分辨率和贝叶斯优化等应用至关重要。
• 证明联合建模输出维度可提升回归性能，尤其在负对数预测密度（NLPD）方面优于独立或近似模型。

提出的方法

• 利用概率电路构建深度结构化的单输出GP专家混合模型，其中每个叶节点代表一个单输出GP专家。
• 通过分层结构对输入空间和输出空间进行递归划分，实现计算的局部化并支持高效推断。
• 利用概率电路的可 tractability 性质，将后验推断问题简化为仅基于少量观测的单个GP专家条件推断，实现精确后验推断。
• 通过边缘似然最大化优化超参数，利用电路的可 tractability 结构实现高效的梯度计算。
• 通过引入输出空间分解，将Trapp等人（2020）的方法扩展至多输出设置，实现输出相关性的联合建模。
• 在图像超分辨率等应用中，将MOMoGP后验的预测均值用作非参数插值函数。

实验结果

研究问题

• RQ1 通过概率电路结构化单输出GP专家的混合是否能实现在多输出回归中的精确且高效后验推断？
• RQ2 对输入空间和输出空间的递归分解是否能在不带来计算成本急剧上升的情况下，有效建模输出间相关性？
• RQ3 在预测不确定性（NLPD）、回归误差（RMSE、MAE）和可扩展性方面，MOMoGP与现有基于专家和稀疏变分GP方法相比表现如何？
• RQ4 MOMoGP是否能有效应用于真实任务（如图像超分辨率），其中精确的不确定性估计和光滑插值至关重要？
• RQ5 与独立或变换后的单输出模型相比，联合建模输出维度在多大程度上提升了预测性能？

主要发现

• MOMoGP通过将问题简化为单个GP专家的推断，实现精确后验推断，计算过程可 tractability 且可扩展，复杂度为O(KM³)，其中M为每个专家的观测数。
• 在Energy和usFlight等大规模数据集上，MOMoGP在所有对比模型中取得最低的负对数预测密度（NLPD），表明其具有更优的预测不确定性估计能力。
• MOMoGP在NLPD方面优于单输出GP模型和多输出稀疏变分GP基线模型，同时保持了具有竞争力的RMSE和MAE值。
• 在图像超分辨率任务中，MOMoGP的RMSE为1.289，优于双线性插值（RMSE：1.542）和最近邻插值（RMSE：1.855），生成的图像边缘更清晰、模糊更少。
• 模型有效捕捉了输出间相关性，表现为更低的NLPD值，反映出对完整预测分布的更好建模，而不仅限于均值。
• 对输入空间和输出空间的递归分解使MOMoGP能够超越单输出专家模型的局限，为多输出回归提供更具表达力和可扩展性的框架。