[论文解读] Automated Model Selection with Bayesian Quadrature

Henry Chai, Jean-François Ton+2 more|arXiv (Cornell University)|Feb 26, 2019

Fault Detection and Control Systems被引用 5

一句话总结

该论文提出了一种基于贝叶斯积分的自动化模型选择方法，通过主动选择能够最大化观测与后验模型概率之间互信息的似然评估，实现更少的似然评估次数下更精确的模型选择，尤其在计算成本较高的场景中优于蒙特卡洛方法或标准贝叶斯积分方法。

ABSTRACT

We present a novel technique for tailoring Bayesian quadrature (BQ) to model selection. The state-of-the-art for comparing the evidence of multiple models relies on Monte Carlo methods, which converge slowly and are unreliable for computationally expensive models. Previous research has shown that BQ offers sample efficiency superior to Monte Carlo in computing the evidence of an individual model. However, applying BQ directly to model comparison may waste computation producing an overly-accurate estimate for the evidence of a clearly poor model. We propose an automated and efficient algorithm for computing the most-relevant quantity for model selection: the posterior probability of a model. Our technique maximizes the mutual information between this quantity and observations of the models' likelihoods, yielding efficient acquisition of samples across disparate model spaces when likelihood observations are limited. Our method produces more-accurate model posterior estimates using fewer model likelihood evaluations than standard Bayesian quadrature and Monte Carlo estimators, as we demonstrate on synthetic and real-world examples.

研究动机与目标

• 解决在计算成本较高的模型中，蒙特卡洛方法在估计模型证据时效率低下的问题。
• 克服标准贝叶斯积分在模型选择中的局限性，后者可能过度分配样本给表现较差的模型。
• 开发一种主动学习策略，根据其对后验模型概率的信息量来优先选择似然评估。
• 在有限的似然评估次数下，实现对不同模型空间的高效且准确的模型比较。

提出的方法

• 提出一种新颖的获取函数，以最大化似然观测与后验模型概率之间的互信息。
• 使用高斯过程对模型证据的联合分布进行建模，以在不同模型间传播不确定性。
• 将后验模型概率向量的熵作为主动采样的目标，确保对所有模型的均衡探索。
• 通过利用模型证据估计的条件分布，推导出互信息的可计算近似。
• 将获取函数集成到贝叶斯积分框架中，按顺序选择在多个模型中最具信息量的参数位置。
• 应用多输出高斯过程对不同模型中的似然进行建模，从而允许相关联的不确定性估计。

实验结果

研究问题

• RQ1 贝叶斯积分能否被调整为直接针对后验模型概率，而非单个模型证据？
• RQ2 基于似然观测与模型后验之间互信息的主动采样，是否能提高模型选择中的样本效率？
• RQ3 与标准蒙特卡洛和贝叶斯积分方法相比，所提出方法在准确性和收敛速度方面表现如何？
• RQ4 与针对完整后验概率的获取函数相比，针对二元模型比较（如 $[z_1 > z_2]$）的替代获取函数存在哪些局限性？
• RQ5 该方法能否扩展至处理具有相关证据的多于两个模型的模型选择？

主要发现

• 与标准贝叶斯积分和蒙特卡洛方法相比，该方法在显著更少的似然评估次数下，实现了更精确的后验模型概率估计。
• 在合成的一维和二维实验中，该方法在分数误差和收敛速度方面优于桥接采样和可逆跳跃MCMC。
• 针对完整后验模型概率向量熵的目标优于针对二元比较 $[z_1 > z_2]$ 的目标，后者存在过早收敛和不稳定性问题。
• 针对 $[z_1 > z_2]$ 的替代方法会迅速变得过于自信，并在高维空间中无法有效探索模型参数空间。
• 该方法在嵌套模型选择任务中表现出鲁棒性，其中模型证据预期具有相关性，表明未来可结合多任务高斯过程进行扩展。
• 实验表明，基于互信息的获取函数能够实现对多个模型参数空间的高效同步探索，避免在明显劣质模型上浪费采样。