[论文解读] Look-Ahead Acquisition Functions for Bernoulli Level Set Estimation

Benjamin Letham, Phillip Guan+3 more|arXiv (Cornell University)|Mar 18, 2022

Control Systems and Identification被引用 5

一句话总结

本文提出了一种用于伯努利水平集估计的可计算前瞻采集函数，基于高斯过程分类，尽管完整后验更新不可计算，仍推导出子水平集成员关系后验的闭式表达式。结果表明，全局前瞻采集函数在高维心理物理学任务中显著提升了估计精度，优于局部和随机基线方法。

ABSTRACT

Level set estimation (LSE) is the problem of identifying regions where an unknown function takes values above or below a specified threshold. Active sampling strategies for efficient LSE have primarily been studied in continuous-valued functions. Motivated by applications in human psychophysics where common experimental designs produce binary responses, we study LSE active sampling with Bernoulli outcomes. With Gaussian process classification surrogate models, the look-ahead model posteriors used by state-of-the-art continuous-output methods are intractable. However, we derive analytic expressions for look-ahead posteriors of sublevel set membership, and show how these lead to analytic expressions for a class of look-ahead LSE acquisition functions, including information-based methods. Benchmark experiments show the importance of considering the global look-ahead impact on the entire posterior. We demonstrate a clear benefit to using this new class of acquisition functions on benchmark problems, and on a challenging real-world task of estimating a high-dimensional contrast sensitivity function.

研究动机与目标

• 为解决在人类心理物理学实验中常见的二值（伯努利）观测下水平集估计的高效主动采样挑战。
• 克服在伯努利似然下高斯过程分类中前瞻后验更新的不可计算性。
• 开发分析性、闭式表达的采集函数，以考虑未来观测对水平集后验的全局影响。
• 在基准问题和一个真实世界的高维对比敏感度函数估计任务上评估这些采集函数的性能。
• 证明在高维伯努利LSE中，全局前瞻对可靠性能至关重要，尤其在阈值附近存在高噪声时。

提出的方法

• 推导出在具有伯努利观测的高斯过程分类模型下，子水平集成员关系后验的精确闭式表达式。
• 利用这些解析后验，计算前瞻采集函数，包括基于信息和基于体积的准则，无需蒙特卡洛近似。
• 提出一种新颖的采集函数——期望绝对体积变化（EAVC），受贝叶斯优化中最大值熵搜索的启发。
• 采用可微分的二元正态（BVN）计算方法，实现采集函数的基于梯度的优化。
• 将该方法应用于模拟的高维LSE问题和一个涉及对比敏感度函数的真实视觉心理物理学实验。
• 与局部前瞻、准随机搜索及非前瞻基线方法进行对比，以隔离全局前瞻的影响。

实验结果

研究问题

• RQ1 尽管完整后验更新不可计算，能否为伯努利水平集估计推导出可计算的前瞻采集函数？
• RQ2 在高维设置下，考虑对整个后验影响的全局前瞻是否能显著提升水平集估计的准确性？
• RQ3 基于子水平集成员关系后验的前瞻采集函数与非前瞻或局部采集函数相比，在估计质量上表现如何？
• RQ4 所提出的方法能否高效应用于具有高维刺激空间的真实心理物理学实验？
• RQ5 全局前瞻带来的性能提升是否足以克服在阈值附近伯努利观测固有的高噪声？

主要发现

• 作者推导出子水平集成员关系前瞻后验的闭式表达式，实现了采集函数的精确计算，无需蒙特卡洛近似。
• 所提出的采集函数（包括EAVC）在高维基准问题上显著优于局部前瞻和非前瞻方法，尤其在决策边界附近区域。
• 准随机搜索作为基线表现强劲，凸显了在高维设置且高噪声条件下进行此类比较的重要性。
• 研究证明，全局前瞻对可靠性能至关重要，因为局部前瞻方法在高维中容易陷入边界附近的高方差区域。
• 该方法实现了适合实时人类实验的高效采集函数计算，并成功应用于高维对比敏感度函数估计任务。
• 结果表明，即使在高噪声条件下（在p=0.75时标准差约为0.43），所提出的采集函数仍能通过利用全局预测影响实现准确的水平集估计。