[论文解读] Gaussian Process Regression for Binned Data

Michael Thomas Smith, Álvarez+1 more|arXiv (Cornell University)|Sep 6, 2018

Gaussian Processes and Bayesian Inference参考文献 2被引用 4

一句话总结

本文提出了一种基于解析积分核的高斯过程回归方法，用于处理分箱数据，该核函数可计算长方体区域与点之间的协方差，从而实现从分箱汇总数据中进行精确的概率预测。该方法在分箱数量较少时显著优于基于质心的插值方法，并通过长方体近似扩展至不规则多面体，提升了重建精度，同时在差分隐私和积分预测等应用中具有潜力。

ABSTRACT

Many datasets are in the form of tables of binned data. Performing regression on these data usually involves either reading off bin heights, ignoring data from neighbouring bins or interpolating between bins thus over or underestimating the true bin integrals. In this paper we propose an elegant method for performing Gaussian Process (GP) regression given such binned data, allowing one to make probabilistic predictions of the latent function which produced the binned data. We look at several applications. First, for differentially private regression; second, to make predictions over other integrals; and third when the input regions are irregularly shaped collections of polytopes. In summary, our method provides an effective way of analysing binned data such that one can use more information from the histogram representation, and thus reconstruct a more useful and precise density for making predictions.

研究动机与目标

• 解决标准回归方法在分箱数据上的局限性，后者通常忽略邻近分箱信息，或通过插值扭曲分箱积分。
• 开发一种基于概率的系统性方法，利用完整的直方图信息以实现更精确的潜在函数重建。
• 通过长方体近似将高斯过程回归扩展至非长方体输入区域（如人口普查区）。
• 通过直接在分箱数据上操作（无需原始微观数据），实现差分隐私回归。
• 支持对任意区域（如年龄组人数）的积分预测，仅依赖分箱汇总数据。

提出的方法

• 推导出一种解析积分核，基于潜在函数在区域上的积分期望，计算长方体积分区域与点之间的协方差。
• 利用高斯过程的多变量正态分布特性，计算点值与区域积分的联合分布。
• 通过将分箱汇总视为已知积分，将该方法应用于分箱数据，实现对潜在函数的后验推断。
• 对于非长方体区域，使用一组超长方体对复杂多面体进行近似，通过积分核计算协方差。
• 采用受Kyriakidis（2004）启发的基于点的近似方法作为基线，随后通过用长方形替代点来降低近似误差。
• 通过Riihimäki与Vehtari（2010）的方法引入非负性约束，以确保在建模计数或密度数据时预测结果具有物理意义。

实验结果

研究问题

• RQ1 高斯过程回归能否在尊重每个分箱积分约束的前提下有效应用于分箱数据，而非将分箱均值视为点观测？
• RQ2 在潜在函数存在显著峰或谷的情况下，所提出的积分核方法与质心插值方法在预测精度上的表现如何比较？
• RQ3 该方法能否扩展至如人口普查区等不规则形状的输入区域？何种近似策略能在精度与计算成本之间取得最佳平衡？
• RQ4 在原始数据不可用、仅能获取分箱汇总数据的差分隐私设置下，该方法表现如何？
• RQ5 在非矩形区域中，使用长方形近似与点近似在误差与计算效率方面的差异如何？

主要发现

• 积分核方法显著优于基于质心的插值方法，尤其在分箱数量较少时，因其能更好地捕捉分箱积分约束。
• 在基于人口普查的年龄-身高数据集中，该方法正确捕捉了20多岁身高的峰值，而质心方法因与分箱边界错位而低估了该峰值。
• 在二维多边形中，使用积分核的长方形近似使协方差估计的平均绝对误差（MAE）相比点近似降低了高达60%。
• 在4D超球实验中，相同数量的近似元素下，长方形近似方法的MAE（25.1）仅为点近似方法（50.0）的一半。
• 该方法可实现对区域积分（如年轻成年人数量）的精确预测，而质心方法因低估窄年龄带的人口数量而失效。
• 通过Riihimäki与Vehtari（2010）引入非负性约束后，后验分布与超参数估计发生改变，但在测试示例中，更简单的高斯似然模型表现略优。