[论文解读] Local Gaussian Regression

Franziska Meier, Philipp Hennig+1 more|arXiv (Cornell University)|Feb 4, 2014

Gaussian Processes and Bayesian Inference参考文献 17被引用 3

一句话总结

本文提出局部高斯回归（LGR），一种概率性、局部加权的回归方法，结合了局部加权回归（LWR）的计算效率与高斯过程回归的生成建模能力。通过使用局部特征函数和变分近似，LGR 实现了与局部模型数量呈线性关系的计算复杂度，同时实现了局部模型间的协作学习，在准确性和对超参数调优的鲁棒性方面优于 LWR 和专家混合模型。

ABSTRACT

Locally weighted regression was created as a nonparametric learning method that is computationally efficient, can learn from very large amounts of data and add data incrementally. An interesting feature of locally weighted regression is that it can work with spatially varying length scales, a beneficial property, for instance, in control problems. However, it does not provide a generative model for function values and requires training and test data to be generated identically, independently. Gaussian (process) regression, on the other hand, provides a fully generative model without significant formal requirements on the distribution of training data, but has much higher computational cost and usually works with one global scale per input dimension. Using a localising function basis and approximate inference techniques, we take Gaussian (process) regression to increasingly localised properties and toward the same computational complexity class as locally weighted regression.

研究动机与目标

• 开发一种概率回归模型，保留局部加权回归（LWR）的计算效率，同时支持对函数值的完全生成建模以及局部模型间的协作学习。
• 通过将局部模型嵌入高斯过程框架中，解决 LWR 存在的超参数敏感性和缺乏生成结构的问题。
• 通过变分近似降低高斯过程回归的计算成本，使局部模型解耦，实现与局部模型数量呈线性关系的复杂度。
• 实现增量学习并在多样化回归任务中保持稳健性能，尤其在高维和实时场景（如机器人控制）中表现优异。

提出的方法

• 在广义线性回归框架中，使用局部特征函数（特别是径向基函数）表示局部模型，以编码空间局部性。
• 将高斯过程回归重新表述为带有局部特征函数的概率模型，从而为函数值提供完全的生成模型。
• 应用变分推理近似，假设由于空间局部性，局部模型近似独立，将推理成本从与局部模型数量的立方关系降低至线性关系。
• 使用最大似然估计学习模型参数，包括长度尺度和正则化参数，并通过一个控制模型复杂度和稀疏性的超参数 $ w_{\text{gen}} $ 进行权衡。
• 采用剪枝机制，根据局部模型的贡献自动减少活跃局部模型的数量，提升效率而不损失准确性。
• 通过允许灵活、数据驱动的局部特征表示，将框架扩展为局部非参数形式。

实验结果

研究问题

• RQ1 能否设计一种概率回归模型，实现局部加权回归的计算效率，同时保留对函数值的完全生成模型？
• RQ2 如何在不承担全局高斯过程推理全部计算成本的前提下，使局部模型在训练过程中实现协作？
• RQ3 与 LWR 和专家混合模型相比，所提出方法在多大程度上降低了对超参数的敏感性？
• RQ4 在高维或实时场景中，模型是否能以更少的局部模型和更少的调优保持高精度？

主要发现

• 在交叉函数基准测试中，LGR 在预测准确性方面优于 LWR 和专家混合模型（ME），使用更少的局部模型实现了更低的归一化均方误差。
• LGR 的性能对 $ w_{\text{gen}} $ 超参数的选择具有鲁棒性，更高值仅带来轻微的准确性提升，表明对调优的敏感度极低。
• 在 SARCOS 反向动力学任务中，LGR 在全部 7 个关节上的预测准确性均优于 LWR 和 ME，展现出在高维场景中的强大泛化能力。
• 尽管 $ w_{\text{gen}} = 1 $ 时允许最多 2000 个局部模型，LGR 的剪枝机制仍将其最终活跃模型数量压缩至极小比例，显示出高效的模型压缩能力。
• 变分近似成功实现了局部模型的解耦，将计算成本降低至线性复杂度，同时保持了模型质量。
• LGR 的生成式公式能够实现参数和模型结构的合理学习，而 LWR 则对训练数据和测试数据的处理方式不同，缺乏这种一致性。