[论文解读] Kernel Bayesian Inference with Posterior Regularization

Yang Song, Jun Zhu+1 more|arXiv (Cornell University)|Jul 7, 2016

Target Tracking and Data Fusion in Sensor Networks参考文献 16被引用 5

一句话总结

本文提出了一种新颖的向量值回归框架，将核贝叶斯推断表述为优化问题，通过核嵌入直接在分布层面实现后验正则化。该方法建立了估计量的理论一致性，并提出了一种更快、更有效的正则化方法，其性能可与平方正则化相媲美或超越，已在非线性状态空间滤波任务中得到验证。

ABSTRACT

We propose a vector-valued regression problem whose solution is equivalent to the reproducing kernel Hilbert space (RKHS) embedding of the Bayesian posterior distribution. This equivalence provides a new understanding of kernel Bayesian inference. Moreover, the optimization problem induces a new regularization for the posterior embedding estimator, which is faster and has comparable performance to the squared regularization in kernel Bayes' rule. This regularization coincides with a former thresholding approach used in kernel POMDPs whose consistency remains to be established. Our theoretical work solves this open problem and provides consistency analysis in regression settings. Based on our optimizational formulation, we propose a flexible Bayesian posterior regularization framework which for the first time enables us to put regularization at the distribution level. We apply this method to nonparametric state-space filtering tasks with extremely nonlinear dynamics and show performance gains over all other baselines.

研究动机与目标

• 通过将后验嵌入表述为向量值回归问题，为核贝叶斯推断提供一种基于优化的合理解释。
• 解决在核POMDP中使用的基于阈值的后验正则化方法的一致性这一开放问题。
• 为核后验嵌入设计一种计算高效且经验有效的新型正则化技术。
• 在不依赖矩或线性泛函的前提下，实现在分布层面的正则化。
• 在具有高度非线性动态特性的非参数状态空间滤波任务中展示该方法的优越性。

提出的方法

• 后验分布嵌入被导出为再生核希尔伯特空间（RKHS）中向量值回归问题的解。
• 该方法引入了一种新正则化项，替代核贝叶斯法则中的标准平方正则化，从而在保持精度的同时提升计算速度。
• 通过分析算子范数的概率界和经验过程的一般化误差，证明了理论一致性。
• 该框架命名为 kRegBayes，通过利用概率测度的 RKHS 结构，实现了对后验分布嵌入的直接正则化。
• 该方法避免了参数假设，只要定义了有效的核函数，即可适用于任意输入类型（例如，字符串、图等）。
• 理论分析基于谱分解和浓度不等式，以界定经验估计量与真实后验嵌入之间的偏差。

实验结果

研究问题

• RQ1 能否将核贝叶斯推断重新解释为具有理论保证的正则化向量值回归问题？
• RQ2 在核POMDP中使用的基于阈值的后验正则化方法在一般条件下是否一致？
• RQ3 能否设计一种比平方正则化更快且保持精度的后验嵌入新正则化方案？
• RQ4 能否在不依赖矩或线性泛函的前提下，直接在分布层面应用后验正则化？
• RQ5 所提出的 kRegBayes 框架在非线性、非参数滤波任务中是否优于现有基线方法？

主要发现

• 所提出的向量值回归公式在温和假设下为后验分布嵌入提供了具有一致性的估计量，当正则化参数 λ → 0 时，收敛概率成立。
• 新正则化方法在实践中显著更快，同时性能可与或优于平方正则化。
• 首次正式建立了核POMDP中基于阈值方法的一致性，解决了文献中的一个开放问题。
• kRegBayes 框架实现了核贝叶斯推断中首次独立于基于矩约束的分布层面后验正则化。
• 实验结果表明，在具有高度非线性动态特性的复杂合成滤波任务中，该方法在所有基线方法上均表现出性能提升。
• 该方法是非参数且通用的，只要存在有效的核函数，即可适用于包括字符串、排列和图在内的多种数据类型。