[论文解读] Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes

Zhenwen Dai, Mauricio A. Álvarez+1 more|arXiv (Cornell University)|May 27, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用 7

一句话总结

该论文提出了一种潜在变量多输出高斯过程（LVMOGP），这是一种贝叶斯模型，通过将关于条件的潜在信息嵌入共享潜在空间，联合建模监督学习中的多种条件。通过使用具有克罗内克积结构的后验分布的变分推断，LVMOGP 实现了稀疏高斯过程级别的计算效率，并能以极少的数据点实现对新条件的稳健泛化，在合成数据和真实世界回归任务中显著优于现有高斯过程方法。

ABSTRACT

Often in machine learning, data are collected as a combination of multiple conditions, e.g., the voice recordings of multiple persons, each labeled with an ID. How could we build a model that captures the latent information related to these conditions and generalize to a new one with few data? We present a new model called Latent Variable Multiple Output Gaussian Processes (LVMOGP) and that allows to jointly model multiple conditions for regression and generalize to a new condition with a few data points at test time. LVMOGP infers the posteriors of Gaussian processes together with a latent space representing the information about different conditions. We derive an efficient variational inference method for LVMOGP, of which the computational complexity is as low as sparse Gaussian processes. We show that LVMOGP significantly outperforms related Gaussian process methods on various tasks with both synthetic and real data.

研究动机与目标

• 解决在不同场景（如不同说话人或相机型号）下收集数据时，监督学习中建模多种条件的挑战。
• 在测试时仅使用少量数据点，实现对新、未见条件的有效泛化。
• 建模仅由输入特征无法捕捉的条件特异性变化，避免将其视为噪声或使用独立模型的缺陷。
• 开发一种计算高效的推断方法，其扩展性类似于稀疏高斯过程，同时捕捉不同条件之间的相关性。
• 通过学习条件的低维潜在表示，克服现有方法（如 LMC）因高阶协同相关矩阵导致的过拟合问题。

提出的方法

• LVMOGP 通过引入一个潜在空间扩展高斯过程，其中每个点代表一个不同的条件，从而实现对多种条件的联合建模。
• 该模型在变分后验中使用克罗内克积结构，以降低计算复杂度，使其与具有独立输出的稀疏高斯过程相当。
• 推导出一个闭式变分下界，以实现对高斯过程函数和潜在条件变量的高效贝叶斯推断。
• 潜在变量在训练期间被推断，并通过估计其在潜在空间中的后验位置，用于预测新条件。
• 该方法支持缺失数据，并可通过建模条件相关的相关性，应用于多变量回归和插补任务。
• 该模型在潜在空间中利用自动相关性确定（ARD），以学习有意义的、低维的条件变化表示。

实验结果

研究问题

• RQ1 我们能否在不将条件特异性变化视为噪声的前提下，对监督学习中的条件特异性变化进行建模，同时实现对新条件的泛化？
• RQ2 我们如何仅用少量数据点，高效地推断新条件的潜在表示？
• RQ3 我们能否在建模具有共享潜在结构的多种相关输出的同时，实现与稀疏高斯过程相当的计算效率？
• RQ4 与全秩协同相关化方法相比，学习条件的低维潜在空间是否能提升泛化能力并减少过拟合？
• RQ5 在低数据量场景和大规模缺失数据（如传感器插补）下，该模型表现如何？

主要发现

• 在总样本数为 200、共四个条件的合成数据上，LVMOGP 的测试均方根误差（RMSE）为 0.30±0.04，显著优于 GP-ind（0.43±0.06）和 LMC（0.47±0.09）。
• 在包含 25 个条件且数据稀疏的伺服器数据集上，LVMOGP 的 RMSE 为 0.52±0.16，优于 GP-OH（0.73±0.26）、LMC（0.69±0.35）和 GP-ind（1.30±0.31）。
• 在 95% 数据缺失的传感器插补任务中，LVMOGP 的 RMSE 为 0.45±0.02，优于 GP-ind（0.85±0.09）和 LMC（0.59±0.21）。
• LVMOGP 仅用一个训练数据点，成功从低数据条件中外推非线性函数，展示了强大的泛化能力。
• 由于其低维潜在表示，该方法避免了 LMC 因高维协同相关矩阵导致的过拟合问题，实验重复结果的方差更低。
• 使用克罗内克积结构的变分后验使计算复杂度与稀疏高斯过程相当，使该方法可扩展至大规模数据集。