[论文解读] Greedy inference with structure-exploiting lazy maps

Brennan, Michael C., Daniele Bigoni+3 more|arXiv (Cornell University)|May 31, 2019

Markov Chains and Monte Carlo Methods参考文献 25被引用 14

一句话总结

该论文提出一种贪心、结构感知的高维贝叶斯推理框架，利用低秩传输映射聚焦于后验差异最大的方向。通过利用对数索博列夫不等式最小化KL散度的上界，该方法识别出信息丰富的低维子空间，并迭代组合懒惰映射，实现向后验的弱收敛，且在使用多项式流和逆自回归流的机器学习与PDE反问题中表现出更高的精度。

ABSTRACT

We propose a framework for solving high-dimensional Bayesian inference problems using \emph{structure-exploiting} low-dimensional transport maps or flows. These maps are confined to a low-dimensional subspace (hence, lazy), and the subspace is identified by minimizing an upper bound on the Kullback--Leibler divergence (hence, structured). Our framework provides a principled way of identifying and exploiting low-dimensional structure in an inference problem. It focuses the expressiveness of a transport map along the directions of most significant discrepancy from the posterior, and can be used to build deep compositions of lazy maps, where low-dimensional projections of the parameters are iteratively transformed to match the posterior. We prove weak convergence of the generated sequence of distributions to the posterior, and we demonstrate the benefits of the framework on challenging inference problems in machine learning and differential equations, using inverse autoregressive flows and polynomial maps as examples of the underlying density estimators.

研究动机与目标

• 通过利用高维后验中的低维结构，解决基于传输映射的贝叶斯推理中的维度灾难问题。
• 开发一种系统性方法，利用KL散度上界识别最具有信息量的低维子空间，以实现传输映射的近似。
• 实现高效、顺序的懒惰传输映射组合，自适应地针对当前近似与真实后验之间的残差差异。
• 在合理假设下，证明贪心迭代映射组合弱收敛于目标后验。
• 在机器学习和PDE约束的反问题中，展示该方法在推理精度与效率上的提升。

提出的方法

• 该方法通过利用对数索博列夫不等式推导的KL散度上界，最小化目标后验与其近似之间的KL散度上界，以识别低维子空间。
• 使用选定的映射类（如三角多项式映射或逆自回归流）在该子空间内构建受限于该子空间的传输映射（即“懒惰映射”）。
• 该框架采用贪心组合策略：在每一步中，对当前近似与目标后验之间的残差分布训练新的懒惰映射。
• 该算法使用$ m = 100 $个样本对基测度（如标准正态分布）上的期望进行蒙特卡洛近似，以计算梯度并更新映射。
• 该方法支持迭代精炼，其中每一层新映射均在残差差异上进行训练，从而实现近似质量的逐步提升。
• 在较弱的正则性条件下建立了理论收敛性，证明了推送前向序列弱收敛于真实后验。

实验结果

研究问题

• RQ1 我们能否在高维后验中识别出捕捉与先验最大差异的低维子空间，从而实现高效的传输映射构建？
• RQ2 如何系统性地最小化KL散度的上界，以指导具有信息量的子空间选择？
• RQ3 贪心的、分层的低秩传输映射组合是否能弱收敛于真实后验分布？
• RQ4 该框架是否能在高维推理任务中优于标准归一化流，同时降低计算成本？
• RQ5 该方法在涉及PDE的复杂反问题中表现如何，例如在悬臂梁中估计材料属性？

主要发现

• 在标准正则性假设下，该框架实现了贪心传输映射序列弱收敛于真实后验分布。
• 在杨氏模量估计问题中，该方法准确恢复了五段梁的真实值，后验边际分布与真实值高度一致，如图10(c)所示。
• 后验预测不匹配度（图11(b)所示）表明，模型生成的观测值与实际观测数据一致，表明模型校准良好。
• MCMC验证链的接受率为68.3%，有效样本量范围为7.0%至38.7%，证实后验近似校准良好。
• 使用秩-2懒惰映射与三次多项式流实现了高精度，表明即使在中等高维问题中，低维结构也可被有效利用。
• 贪心组合策略相比基线方法提升了最终精度，尤其在捕捉高维参数空间中的复杂后验依赖关系方面表现更优。