[论文解读] Inference with Aggregate Data: An Optimal Transport Approach

Rahul Singh, Isabel Haasler+3 more|arXiv (Cornell University)|Mar 31, 2020

Bayesian Modeling and Causal Inference参考文献 50被引用 15

一句话总结

本文提出Sinkhorn信念传播（SBP），一种基于多极值最优传输理论的高效且收敛的聚合数据过滤算法。通过将推理问题重新表述为基于图形模型结构的熵正则化最优传输问题，SBP利用Sinkhorn算法在树状图结构上实现多项式时间复杂度与全局收敛性，其稳定性与准确性优于现有方法。

ABSTRACT

We consider inference (filtering) problems over probabilistic graphical models with aggregate data generated by a large population of individuals. We propose a new efficient belief propagation type algorithm over tree-structured graphs with polynomial computational complexity as well as a global convergence guarantee. This is in contrast to previous methods that either exhibit prohibitive complexity as the population grows or do not guarantee convergence. Our method is based on optimal transport, or more specifically, multi-marginal optimal transport theory. In particular, we consider an inference problem with aggregate observations, that can be seen as a structured multi-marginal optimal transport problem where the cost function decomposes according to the underlying graph. Consequently, the celebrated Sinkhorn/iterative scaling algorithm for multi-marginal optimal transport can be leveraged together with the standard belief propagation algorithm to establish an efficient inference scheme which we call Sinkhorn belief propagation (SBP). We further specialize the SBP algorithm to cases associated with hidden Markov models due to their significance in control and estimation. We demonstrate the performance of our algorithm on applications such as inferring population flow from aggregate observations. We also show that in the special case where the observations are generated by a single individual, our algorithm naturally reduces to the standard belief propagation algorithm.

研究动机与目标

• 解决在仅有聚合的群体水平数据（如计数或直方图）可用时，概率图模型中可靠且高效的推理挑战。
• 通过开发一种新型推理框架，克服现有方法（如NLBP的不稳定性、无收敛保证）和Bethe-RDA（观测模型不同）的局限性。
• 建立一个理论基础坚实、收敛且计算高效的聚合观测过滤算法。
• 将该方法专门应用于隐马尔可夫模型（HMMs），以支持其在控制、估计与移动追踪中的应用。
• 在真实场景（如鸟类迁徙与人群流动）中展示算法在稀疏传感器数据条件下的鲁棒性。

提出的方法

• 将聚合推理问题重新表述为结构化的多极值最优传输（MOT）问题，其中代价函数根据图模型的结构分解。
• 对MOT问题施加熵正则化，以支持使用Sinkhorn算法实现高效计算。
• 将Sinkhorn算法与信念传播原理结合，开发出Sinkhorn信念传播（SBP）算法。
• 通过利用树状图结构的拓扑特性和熵正则化的性质，确保收敛性与多项式时间复杂度。
• 将SBP专门应用于HMMs，推导出一种广义的标准前向-后向算法的集体前向-后向算法。
• 使用凸优化作为基准进行验证，尤其在环状图上评估估计精度。

实验结果

研究问题

• RQ1 能否设计一种类似信念传播的算法，用于聚合数据推理，并保证收敛性与多项式时间复杂度？
• RQ2 如何利用多极值最优传输理论，在图模型上对聚合观测中的结构化依赖关系进行建模？
• RQ3 所提出的SBP算法在收敛稳定性与估计精度方面是否优于现有方法（如NLBP与Bethe-RDA）？
• RQ4 该算法能否有效专门化应用于隐马尔可夫模型，以支持群体水平追踪应用？
• RQ5 在稀疏观测条件下（如移动追踪中传感器覆盖有限），SBP的性能如何？

主要发现

• SBP在树状图结构上实现全局收敛，并具有多项式计算复杂度，而NLBP则缺乏收敛保证。
• 该算法在真实与估计的边缘分布之间的一范数距离上表现出单调递减，而NLBP在无阻尼情况下表现出不稳定性。
• SBP在不同群体规模下（包括100人与10,000人）均保持稳定性能，仿真结果表明其在鸟类迁徙与人群移动场景中的有效性。
• 在环状图上，SBP收敛至准确的边缘估计，且在五组不同随机种子下均观测到一范数距离的收敛。
• 即使在传感器数据稀疏的条件下（如20×20网格上仅16个Wi-Fi热点），SBP仍能成功估计多模态群体分布。
• 在单个个体的极限情况下，SBP退化为标准信念传播，验证了其与经典推理方法的一致性。