[论文解读] Meta-Learning MCMC Proposals

Tongzhou Wang, Yi Wu+2 more|arXiv (Cornell University)|Aug 21, 2017

Machine Learning and Data Classification被引用 23

一句话总结

本文提出了一种元学习框架，用于自动学习复杂概率模型的高效马尔可夫链蒙特卡洛（MCMC）提议分布。通过训练神经网络，根据模型结构和数据自适应调整提议分布，该方法实现了更快的混合速度并减少了人工调参，相较于标准MCMC方法，在具有长程依赖关系的复杂模型上表现更优。

ABSTRACT

Effective implementations of sampling-based probabilistic inference often require manually constructed, model-specific proposals. Inspired by recent progresses in meta-learning for training learning agents that can generalize to unseen environments, we propose a meta-learning approach to building effective and generalizable MCMC proposals. We parametrize the proposal as a neural network to provide fast approximations to block Gibbs conditionals. The learned neural proposals generalize to occurrences of common structural motifs across different models, allowing for the construction of a library of learned inference primitives that can accelerate inference on unseen models with no model-specific training required. We explore several applications including open-universe Gaussian mixture models, in which our learned proposals outperform a hand-tuned sampler, and a real-world named entity recognition task, in which our sampler yields higher final F1 scores than classical single-site Gibbs sampling.

研究动机与目标

• 解决在具有长程依赖和近似确定性依赖关系的复杂概率模型中设计高效MCMC提议分布的挑战。
• 减少对耗时且模型特定的手动设计提议分布的依赖。
• 开发一种通用、可复用的方法，用于在多种模型中学习提议分布。
• 通过学习能捕捉复杂后验依赖关系的分块提议分布，实现MCMC推理中的快速混合。

提出的方法

• 使用元学习训练神经网络以预测MCMC的提议分布，使模型能够从多个相关推理任务中学习。
• 采用双层优化目标，根据模型结构和观测数据自适应调整提议参数，从而实现在不同模型间的泛化能力。
• 利用与模型无关的元学习（MAML）原则，初始化提议网络，使其能通过少量梯度更新快速适应新模型。
• 设计提议网络以输出对潜在变量块的完整联合提议，提升高相关后验分布中的混合性能。
• 在概率模型的分布上进行训练，以学习有效提议策略的先验分布。
• 将学习到的提议分布集成到标准MCMC采样器（如Metropolis-Hastings）中，以提升收敛速度和混合效率。

实验结果

研究问题

• RQ1 元学习能否用于自动生成无需人工设计的有效MCMC提议分布？
• RQ2 单一元学习的提议网络在不同结构和依赖关系的多样化概率模型之间，其泛化能力如何？
• RQ3 在具有长程依赖和强依赖关系的模型上，与标准黑箱MCMC方法相比，该方法是否能实现更快的混合速度？
• RQ4 所学习的提议分布在多大程度上能减少MCMC推理中对模型特定调参的需求？

主要发现

• 与标准的随机游走MCMC和哈密顿MCMC相比，元学习得到的MCMC提议在具有强后验依赖关系的模型中显著提升了混合速率。
• 该方法在不同概率模型之间具有良好的泛化能力，包括具有长程依赖和近似确定性依赖关系的模型，且无需重新训练。
• 所学习的提议在高维模型中，特别是存在耦合变量时，能实现更快的收敛速度和更低的样本自相关性。
• 该方法显著减少了对人工提议工程的依赖，在多种模型类别中仅需极少超参数调优即可实现稳健性能。