[论文解读] Inference via low-dimensional couplings

Alessio Spantini, Daniele Bigoni+1 more|arXiv (Cornell University)|Mar 17, 2017

Markov Chains and Monte Carlo Methods参考文献 93被引用 13

一句话总结

该论文通过利用稀疏且可分解的传输映射，提出了一种在高维非高斯模型中实现高效贝叶斯推断的框架。它证明了目标分布的马尔可夫性质可支持低维耦合的构建，从而实现可扩展的变分推断，并将平方根Rauch–Tung–Striebel平滑器推广至非线性、非高斯状态空间模型。

ABSTRACT

We investigate the low-dimensional structure of deterministic transformations between random variables, i.e., transport maps between probability measures. In the context of statistics and machine learning, these transformations can be used to couple a tractable "reference" measure (e.g., a standard Gaussian) with a target measure of interest. Direct simulation from the desired measure can then be achieved by pushing forward reference samples through the map. Yet characterizing such a map---e.g., representing and evaluating it---grows challenging in high dimensions. The central contribution of this paper is to establish a link between the Markov properties of the target measure and the existence of low-dimensional couplings, induced by transport maps that are sparse and/or decomposable. Our analysis not only facilitates the construction of transformations in high-dimensional settings, but also suggests new inference methodologies for continuous non-Gaussian graphical models. For instance, in the context of nonlinear state-space models, we describe new variational algorithms for filtering, smoothing, and sequential parameter inference. These algorithms can be understood as the natural generalization---to the non-Gaussian case---of the square-root Rauch-Tung-Striebel Gaussian smoother.

研究动机与目标

• 解决在贝叶斯推断中表示和评估高维传输映射的计算不可行性。
• 利用目标分布中的条件独立结构（马尔可夫性质）以实现低维耦合。
• 为具有联合状态与参数估计的非线性、非高斯状态空间模型开发可扩展的变分推断算法。
• 通过传输映射将经典高斯平滑算法（如RTS平滑器）推广至非高斯情形。
• 为构建稀疏且可分解的传输映射提供理论与算法基础，以降低表示与计算成本。

提出的方法

• 以三角形传输映射作为基本构建模块，其中每个分量仅依赖于前序变量的子集。
• 通过将分量依赖关系与目标分布的马尔可夫毯结构对齐，利用传输映射中的稀疏性。
• 引入可分解传输映射，作为低维映射的复合，实现递归与模块化构建。
• 利用这些映射制定用于滤波、平滑和序列参数估计的变分推断算法。
• 采用基于回归的学习方法，以顺序固定点方式估计分量映射，从而实现高效计算。
• 使用标准高斯分布的参考样本，通过在学习到的传输映射上应用前向推导，生成目标分布的样本。

实验结果

研究问题

• RQ1 目标分布的马尔可夫性质是否能保证低维传输映射的存在？
• RQ2 如何系统地从模型的条件独立结构中推导出传输映射中的稀疏性与可分解性？
• RQ3 在多大程度上可利用传输映射将高斯平滑算法推广至非线性、非高斯状态空间模型？
• RQ4 在推断中使用线性与非线性传输映射时，计算效率与精度之间的权衡如何？
• RQ5 在高维设置下，如何通过低维耦合高效实现联合状态与参数推断？

主要发现

• 目标分布的马尔可夫性质意味着稀疏和/或可分解传输映射的存在，从而支持低维耦合。
• 通过将分量依赖关系与马尔可夫毯结构对齐，可构建稀疏三角形传输映射，显著降低计算复杂度。
• 可分解传输映射允许通过低维变换递归且模块化地构建高维耦合。
• 所提出的用于滤波与平滑的变分算法将平方根Rauch–Tung–Striebel平滑器推广至非线性、非高斯情形。
• 线性传输映射在平滑任务中可实现显著的速度提升，且精度损失微小，但在静态参数推断中无法捕捉复杂参数边缘分布。
• 在长时平滑和静态参数估计等复杂问题中，非线性高阶映射对实现准确推断至关重要，而线性近似则不足以胜任。