[论文解读] Intractable Likelihood Regression for Covariate Shift by Kernel Mean Embedding.

K. Kisamori, Keisuke Yamazaki|arXiv (Cornell University)|Sep 21, 2018

Markov Chains and Monte Carlo Methods参考文献 14被引用 2

一句话总结

该论文提出了一种新颖的贝叶斯推断框架，利用核均值嵌入方法解决在协变量偏移下模拟器回归中的不可行似然问题。通过整合扩展核ABC、重要性加权回归、核汇聚法以及核求和规则，该方法能够在训练数据分布之外实现准确预测，在合成数据和真实世界模拟场景中均表现出有效性。

ABSTRACT

Simulation plays an essential role in comprehending a target system in many fields of social and industrial sciences. A major task in simulation is the estimation of parameters, and optimal parameters to express the observed data need to directly elucidate the properties of the target system as the design of the simulator is based on the expert's domain knowledge. However, skilled human experts struggle to find the desired parameters.Data assimilation therefore becomes an unavoidable task in simulator design to reduce the cost of simulator optimization. Another necessary task is extrapolation; in many practical cases, the prediction based on simulation results will be often outside of the dominant range of the given data area, and this is referred to as the covariate shift. This paper focuses on the regression problem with the covariate shift. While the parameter estimation for the covariate shift has been studied thoroughly in parametric and nonparametric settings, conventional statistical methods of parameter searching are not applicable in the data assimilation of the simulation owing to the properties of the likelihood function: intractable or nondifferentiable. To address these problems, we propose a novel framework of Bayesian inference based on kernel mean embedding that comprises an extended kernel approximate Bayesian computation (ABC) of the importance weighted regression, kernel herding, and the kernel sum rule. This framework makes the prediction available in covariate shift situations, and its effectiveness is evaluated in both synthetic numerical experiments and a widely used production simulator.

研究动机与目标

• 解决在似然函数不可行或不可微的模拟器中进行参数估计的挑战。
• 在协变量偏移条件下实现可靠的回归，其中预测值超出训练数据的主要范围。
• 通过自动化数据融合与优化，减少在模拟器设计中对专家直觉的依赖。
• 开发一种可扩展且可微分的推断框架，兼容复杂模拟器。
• 在传统统计方法失效的基于模拟的推断中，提升外推性能。

提出的方法

• 利用核均值嵌入非参数化表示概率分布，使在无需显式密度估计的情况下对分布进行操作成为可能。
• 提出一种扩展核近似贝叶斯计算（ABC）方法，引入重要性加权机制，以处理无似然推断中的协变量偏移问题。
• 采用核汇聚法高效地从后验分布中抽样，提升收敛速度并降低计算成本。
• 应用核求和规则在再生核希尔伯特空间中组合条件分布，实现多变量间的模块化推断。
• 将上述组件整合为统一框架，支持参数估计与分布外预测。
• 利用基于核的表示绕过显式似然计算的需求，使该方法适用于似然不可行的模拟器。

实验结果

研究问题

• RQ1 能否开发一种无似然的贝叶斯推断框架，以处理基于模拟器回归中的不可行似然问题？
• RQ2 核均值嵌入在模拟模型中如何用于实现协变量偏移下的准确预测？
• RQ3 与传统方法相比，所提出的框架在参数估计与外推方面改善程度如何？
• RQ4 核ABC、汇聚法与核求和规则的整合能否生成适用于复杂模拟器的可扩展且鲁棒的推断框架？
• RQ5 在发生数据分布偏移的真实世界模拟场景中，该框架是否能保持性能？

主要发现

• 所提出的框架成功实现了在似然不可行模拟器中的贝叶斯推断，克服了传统方法的主要局限。
• 将重要性加权回归与核均值嵌入结合，提升了在协变量偏移下的预测准确性。
• 核汇聚法提升了采样效率，减少了达到收敛所需的模拟器调用次数。
• 在合成实验中，该框架表现出稳健性能，展示了对训练数据分布之外的泛化能力提升。
• 在广泛使用的生产级模拟器中，该方法在参数估计精度和可靠外推方面优于基线方法。
• 核求和规则通过允许在再生核希尔伯特空间中组合条件分布，实现了模块化与可扩展的推断。