[论文解读] Kernel-Based Just-In-Time Learning for Passing Expectation Propagation Messages

Wittawat Jitkrittum, Arthur Gretton+5 more|arXiv (Cornell University)|Mar 9, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用 10

一句话总结

本文提出一种基于核函数的即时学习（KJIT）方法，用于期望传播（EP），以快速、具备不确定性感知能力的回归模型替代计算成本高昂的消息积分。通过在再生核希尔伯特空间中采用两级随机特征表示，KJIT 实现了高效的在线更新和可靠的不确定性估计，仅在模型不确定时查询真实 oracle，从而在计算成本低于标准 EP 或基于先验学习的方法的同时，实现了更高的准确性。

ABSTRACT

We propose an efficient nonparametric strategy for learning a message operator in expectation propagation (EP), which takes as input the set of incoming messages to a factor node, and produces an outgoing message as output. This learned operator replaces the multivariate integral required in classical EP, which may not have an analytic expression. We use kernel-based regression, which is trained on a set of probability distributions representing the incoming messages, and the associated outgoing messages. The kernel approach has two main advantages: first, it is fast, as it is implemented using a novel two-layer random feature representation of the input message distributions; second, it has principled uncertainty estimates, and can be cheaply updated online, meaning it can request and incorporate new training data when it encounters inputs on which it is uncertain. In experiments, our approach is able to solve learning problems where a single message operator is required for multiple, substantially different data sets (logistic regression for a variety of classification problems), where it is essential to accurately assess uncertainty and to efficiently and robustly update the message operator.

研究动机与目标

• 解决当无法获得解析解时，期望传播（EP）消息更新计算成本过高的问题。
• 开发一种非参数化、快速且具备不确定性感知能力的方法，用于学习 EP 中的消息算子，避免依赖昂贵的蒙特卡洛采样。
• 通过利用预测不确定性触发 oracle 查询，实现在线、即时学习，仅在模型不确定时进行查询。
• 克服先前方法（如神经网络和随机森林）的局限性，提供有原则的不确定性估计和高效的在线更新。
• 在多种贝叶斯模型中展示稳健性能，包括在多个 UCI 数据集上的逻辑回归任务，精度损失极小，同时实现显著的速度提升。

提出的方法

• 将消息算子学习问题建模为分布回归问题，其中输入概率分布通过特征核嵌入到再生核希尔伯特空间（RKHS）中。
• 采用一种新颖的两级随机特征表示：首先，随机傅里叶特征将输入分布映射到特征空间；其次，第二层随机特征用于在原始空间中进行回归，从而实现快速预测与更新。
• 回归模型以高斯过程实现，为每个输出消息提供有理论依据的预测不确定性估计。
• 不确定性估计指导在线学习：当模型预测不确定性较高时，会查询精确的 EP oracle 以获取新的训练样本对，实现自适应的、即时的模型优化。
• 模型在通过重要性采样生成的输入/输出消息对小批量数据上进行训练，并在出现新的高不确定性预测时持续增量更新。
• 该方法应用于 EP 中的因子节点，将标准的多变量积分替换为一种学习得到的、非参数化的映射，可在不同数据分布间实现良好泛化。

实验结果

研究问题

• RQ1 非参数化、基于核函数的回归模型是否能够可靠地学习 EP 中的消息算子，而无需依赖闭式积分？
• RQ2 此类模型是否能提供有原则的不确定性估计，从而有效指导推理过程中的即时 oracle 查询？
• RQ3 所提出的方法是否在多种贝叶斯模型中实现与精确 EP 相当的精度，同时显著降低计算成本？
• RQ4 与随机森林中的启发式不确定性估计相比，该核方法的不确定性估计在分布外设置下的表现如何？
• RQ5 模型是否能通过在线更新高效适应输入消息分布的变化，例如在不同分类数据集之间切换？

主要发现

• KJIT 在多个贝叶斯模型中得到的后验估计与使用 Infer.NET 作为 oracle 的精确推断结果高度一致，表现出高精度。
• 与标准 EP 相比，KJIT 显著降低了推理时间，且随着学习问题数量的增加，计算成本持续下降，因为 oracle 查询次数随时间减少。
• 在切换到新数据集后，KJIT 的不确定性估计在第一次 EP 迭代后迅速上升，表明能及时检测到分布偏移。
• 在查询 oracle 后，不确定性持续下降，证实模型通过在线学习成功适应了新的数据分布。
• KJIT 在四个 UCI 二分类数据集上保持了高分类精度，同时显著降低了推理时间，优于标准 EP 和先前基于学习的方法。
• 实证结果表明，KJIT 的不确定性估计比随机森林更具鲁棒性和信息量，尤其在分布外场景下，随机森林的启发式方法会失效。