[论文解读] Kernel Recursive ABC: Point Estimation with Intractable Likelihood

Takafumi Kajihara, Motonobu Kanagawa+2 more|arXiv (Cornell University)|Feb 23, 2018

Probabilistic and Robust Engineering Design参考文献 38被引用 4

一句话总结

本文提出了一种新颖的点估计方法——核递归ABC（Kernel Recursive ABC），用于似然函数难以计算的模拟器模型。通过在相同观测数据上递归结合核ABC与核汇中（kernel herding），该方法实现了对真实参数的一致收敛，并在合成数据与真实世界行人流动模拟中均优于现有方法。

ABSTRACT

We propose a novel approach to parameter estimation for simulator-based statistical models with intractable likelihood. Our proposed method involves recursive application of kernel ABC and kernel herding to the same observed data. We provide a theoretical explanation regarding why the approach works, showing (for the population setting) that, under a certain assumption, point estimates obtained with this method converge to the true parameter, as recursion proceeds. We have conducted a variety of numerical experiments, including parameter estimation for a real-world pedestrian flow simulator, and show that in most cases our method outperforms existing approaches.

研究动机与目标

• 解决由于复杂或计算成本高昂的模拟器导致似然函数难以计算的统计模型中的点估计挑战。
• 克服现有方法（如ABC-MAP、噪声ABC-MLE和贝叶斯优化）的局限性，这些方法可能对先验敏感或计算成本过高。
• 开发一种确定性递归算法，通过利用核均值嵌入与汇中法，提升估计精度与收敛速度。
• 在先验设定不准确时表现出鲁棒性，这是相对于需要信息丰富先验的贝叶斯方法的关键优势。
• 在真实世界行人流动模拟器上验证该方法，以展示其在高维、复杂数据场景下的实际适用性与优越性能。

提出的方法

• 应用核ABC将给定参数下模拟数据的条件分布嵌入再生核希尔伯特空间（RKHS），实现无需显式似然评估的非参数推断。
• 使用核汇中法，确定性地选择参数点，以最小化模拟数据经验分布与观测数据在RKHS中的差异。
• 在相同观测数据上以递归方式迭代应用核ABC与核汇中法，每一步均对参数估计进行优化。
• 利用表示定理，将条件分布的核嵌入表示为模拟数据点的有限和，从而实现高效计算。
• 通过利用核汇中法与核ABC在总体极限下的理论性质，在较弱正则性条件下确保收敛至真实参数。
• 通过在混合模型中对混合系数施加狄利克雷先验来整合先验信息，同时由于算法的递归与数据驱动本质，保持对先验误设的鲁棒性。

实验结果

研究问题

• RQ1 在似然函数难以计算的模型中，核ABC与核汇中的递归应用是否能对真实参数产生一致的点估计？
• RQ2 与现有基于ABC或优化的点估计技术相比，该方法在准确性和效率方面表现如何？
• RQ3 在高维、复杂的模拟器场景下，该方法对先验分布误设的鲁棒性如何？
• RQ4 该方法能否在真实世界高维模拟器（如行人流动模型）中有效估计参数？
• RQ5 该递归核ABC过程在总体设定下的收敛性有何理论依据？

主要发现

• 在行人流动模拟器实验中，核递归ABC对行人数量的平均误差为61.58（±74.42），对时间持续时间的平均误差为70.93（±102.08），显著优于SMC-ABC（271.51和363.12）与BO（194.57和291.73）。
• 该方法在估计包含10个候选组中5个活跃组的混合模型真实参数时表现优异，能高精度识别出活跃分量。
• 核递归ABC的数据差异误差为0.008（±0.009），所有方法中最低，表明其在匹配观测数据分布方面具有高度保真度。
• 该方法平均仅需2233.45秒（±97.54）的CPU时间，优于BO（37541.23秒），同时保持高精度。
• 与非递归或随机替代方法相比，核ABC与汇中的递归应用带来了更快的收敛速度与更低的参数估计方差。
• 理论分析表明，在较弱假设下，该方法在总体极限下收敛至真实参数，为其一致性提供了坚实理论基础。