[论文解读] Inference Trees: Adaptive Inference with Exploration

Tom Rainforth, Yuan Zhou+5 more|arXiv (Cornell University)|Jun 25, 2018

Advanced Bandit Algorithms Research参考文献 24被引用 6

一句话总结

Inference Trees (ITs) 提出了一种新颖的自适应推理框架，通过在参数空间中分层划分并动态分配计算资源，实现了在蒙特卡洛采样中探索与利用的平衡。通过结合序列蒙特卡洛与不确定性感知的区域选择，ITs 实现了稳定且鲁棒的估计——尤其在多模态后验分布和积分任务中表现优异，即使样本数量仅为标准 SMC 的 1,000 分之一，也展现出更优的收敛性能。

ABSTRACT

We introduce inference trees (ITs), a new class of inference methods that build on ideas from Monte Carlo tree search to perform adaptive sampling in a manner that balances exploration with exploitation, ensures consistency, and alleviates pathologies in existing adaptive methods. ITs adaptively sample from hierarchical partitions of the parameter space, while simultaneously learning these partitions in an online manner. This enables ITs to not only identify regions of high posterior mass, but also maintain uncertainty estimates to track regions where significant posterior mass may have been missed. ITs can be based on any inference method that provides a consistent estimate of the marginal likelihood. They are particularly effective when combined with sequential Monte Carlo, where they capture long-range dependencies and yield improvements beyond proposal adaptation alone.

研究动机与目标

• 为解决自适应蒙特卡洛方法因贪婪利用而导致模式坍塌等病理问题的局限性。
• 开发一种一致的、在线的自适应推理框架，明确平衡对不确定区域的探索与对高后验区域的利用。
• 在标准方法无法探索所有模式的复杂多模态后验分布中实现有效推理。
• 将自适应推理扩展至目标函数 f 已知的积分场景，提升估计器效率。
• 提供一种灵活的元算法，通过智能分配计算资源，增强任何一致的基线推理方法，尤其是 SMC。

提出的方法

• ITs 以在线自适应的方式将参数空间分层划分为互不相交的区域，并根据后验密度估计动态细化划分。
• 采用基于树的结构，其中每个节点代表一个区域，计算资源根据一种结合利用与探索的准则进行分配。
• 该方法采用一种新颖的不确定性感知探索策略，通过样本权重上的密度估计，预测某区域包含显著后验质量的概率。
• 一个关键创新是提出了一种鲁棒的边缘后验质量估计器，即使蒙特卡洛估计值比真实值小多个数量级，也能保持准确性。
• 该算法可与任何一致的推理方法集成，实验评估聚焦于以序列蒙特卡洛（SMC）作为基础推理引擎。
• 在积分任务中，该方法通过基于方差的利用目标和启发式探索项，自适应调整遍历策略以引导采样。

实验结果

研究问题

• RQ1 能否通过显式引入探索，使自适应推理方法在保持一致性的同时，对模式坍塌等病理现象具有鲁棒性？
• RQ2 如何在高后验密度区域与高不确定性区域之间最优分配计算资源？
• RQ3 能否设计一种元算法，通过智能管理分层划分上的采样，提升任何一致的推理方法？
• RQ4 与标准 SMC 或 PMMH 相比，ITs 在多模态后验分布中的推理性能可提升多少？
• RQ5 在目标函数 f 已知且各区域方差不同的积分任务中，ITs 的性能如何扩展？

主要发现

• 在弱假设下，ITs 的估计具有一致性，无论具体划分或资源分配策略如何。
• 在多模态后验分布中，ITs 能够成功探索并识别多个模式，而 PMMH 在所有运行中均无法在模式间移动。
• 在一个具有相关边权重的网络模型中，ITs 在估计尾部概率时，优于使用 500 个粒子的标准 SMC，甚至优于使用 1,000 倍样本的 SMC。
• 在积分设置中，ITs 的收敛速度和准确性均优于基线 SMC，尤其当目标函数 f 在某些区域具有高变异性时更为显著。
• 基于不确定性的探索策略使 ITs 在边缘似然估计值极小时仍能保持稳健性能，且在多个数量级范围内维持准确性。
• 所提出的后验质量估计器即使在经验边缘似然与真实值存在巨大差异时，依然保持稳定可靠。