[论文解读] Encoding prior knowledge in the structure of the likelihood

Jakob Knollmüller, T. A. Enßlin|arXiv (Cornell University)|Dec 11, 2018

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出一种非线性、确定性的变换，通过将先验知识编码到似然函数结构中，重构层次化贝叶斯模型，将深层层次结构扁平化为独立的标准正态先验。通过应用多变量分布变换并结合逆累积分布函数（CDF）映射，该方法在先验上解耦参数，实现快速、条件良好的变分推断——尤其在低数据场景下表现优异，同时保持与原始模型的统计等价性。

ABSTRACT

The inference of deep hierarchical models is problematic due to strong dependencies between the hierarchies. We investigate a specific transformation of the model parameters based on the multivariate distributional transform. This transformation is a special form of the reparametrization trick, flattens the hierarchy and leads to a standard Gaussian prior on all resulting parameters. The transformation also transfers all the prior information into the structure of the likelihood, hereby decoupling the transformed parameters a priori from each other. A variational Gaussian approximation in this standardized space will be excellent in situations of relatively uninformative data. Additionally, the curvature of the log-posterior is well-conditioned in directions that are weakly constrained by the data, allowing for fast inference in such a scenario. In an example we perform the transformation explicitly for Gaussian process regression with a priori unknown correlation structure. Deep models are inferred rapidly in highly and slowly in poorly informed situations. The flat model show exactly the opposite performance pattern. A synthesis of both, the deep and the flat perspective, provides their combined advantages and overcomes the individual limitations, leading to a faster inference.

研究动机与目标

• 解决由于强参数依赖性导致的深层层次化贝叶斯模型中数值不稳定和收敛缓慢的问题。
• 通过重新参数化至标准化空间，克服变分推断在高维、深度结构化模型中的局限性。
• 通过将参数变换为独立的标准正态分布，先验上解耦先验依赖性，同时保持统计模型的等价性。
• 通过改善变换空间中后验日志的曲率条件，实现在约束不足（低数据）场景下的快速推断。
• 证明通过在深度模型与扁平模型视角之间交替推断，可克服各自性能局限，提升整体表现。

提出的方法

• 应用多变量分布变换，将原始层次化参数转换为独立的均匀分布变量。
• 利用先验分布的逆累积分布函数（CDF），将均匀变量映射为均值为零、方差为一的标准正态变量。
• 构建从标准正态白噪声变量到原始模型参数的非线性、确定性变换，将所有先验知识嵌入似然函数结构中。
• 在变换后的标准化空间中执行变分推断，采用高斯近似，当数据信息不足时该近似具有高度准确性。
• 利用弱约束方向上后验日志曲率的良好条件性，加速低信息量场景下的收敛速度。
• 在不同数据场景下对比原始深层模型与变换后扁平模型的推断性能，以验证该方法的有效性。

实验结果

研究问题

• RQ1 如何系统性地将深层层次化模型中的先验知识编码到似然结构中，以实现参数解耦？
• RQ2 变换至标准化高斯参数空间对变分推断的条件性和收敛性有何影响？
• RQ3 在何种数据场景下，变换后的扁平模型优于原始深层模型，反之亦然？
• RQ4 在数值算法中交替使用深层与扁平模型视角，能否克服各自局限并提升整体性能？
• RQ5 变换空间中后验日志的曲率行为如何？这对数值稳定性和推断速度有何启示？

主要发现

• 该变换在先验上实现参数解耦，使变换空间中参数具有独立的标准正态先验，从而简化变分推断。
• 在低数据场景下，由于弱约束方向上曲率条件良好，变换后的扁平模型可实现快速且准确的推断。
• 在高数据场景下，原始深层模型表现更优，因其在高度约束方向上具有更好的条件性，而扁平模型则表现欠佳。
• 该方法保持了与原始模型的统计等价性，因为变换是确定且可逆的，确保无信息损失。
• 在数值算法中交替使用深层与扁平模型视角，可在所有数据场景下实现更快收敛和更优性能。
• 对于具有未知相关结构的高斯过程回归，该变换通过将功率谱先验嵌入似然结构，实现了高效推断。