[论文解读] Beyond Binomial and Negative Binomial: Adaptation in Bernoulli Parameter Estimation

Safa C. Medin, John Murray–Bruce+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Optical Sensing Technologies参考文献 41被引用 8

一句话总结

本文提出了一种基于网格图的自适应停止规则，用于伯努利参数估计，通过根据实时观测动态分配试验次数，其性能优于传统的二项分布和负二项分布采样方法。利用贝塔先验和一种简单的在线阈值规则，该方法在渐近意义上实现了已知最优试验分配性能，使低光照成像仿真中的均方误差降低了高达4.36 dB。

ABSTRACT

Estimating the parameter of a Bernoulli process arises in many applications, including photon-efficient active imaging where each illumination period is regarded as a single Bernoulli trial. Motivated by acquisition efficiency when multiple Bernoulli processes are of interest, we formulate the allocation of trials under a constraint on the mean as an optimal resource allocation problem. An oracle-aided trial allocation demonstrates that there can be a significant advantage from varying the allocation for different processes and inspires a simple trial allocation gain quantity. Motivated by realizing this gain without an oracle, we present a trellis-based framework for representing and optimizing stopping rules. Considering the convenient case of Beta priors, three implementable stopping rules with similar performances are explored, and the simplest of these is shown to asymptotically achieve the oracle-aided trial allocation. These approaches are further extended to estimating functions of a Bernoulli parameter. In simulations inspired by realistic active imaging scenarios, we demonstrate significant mean-squared error improvements: up to 4.36 dB for the estimation of p and up to 1.80 dB for the estimation of log p.

研究动机与目标

• 解决在光子受限成像应用中固定试验分配效率低下的问题。
• 在平均试验次数预算约束下，将最优试验分配建模为资源分配问题。
• 设计一种自适应停止规则，以在不预先知晓成功概率p的情况下提升估计精度。
• 在与传统采样方法相比的现实主动成像场景中，显著降低均方误差（MSE）。

提出的方法

• 将伯努利参数p的估计建模为具有共轭贝塔先验的贝叶斯问题。
• 使用网格图结构表示最优停止规则，从而实现高效的动态规划优化。
• 提出三种可实现的停止规则——贪心法、阈值法和基于值迭代的方法，三者性能相近。
• 采用一种在线阈值规则，根据观测结果动态调整试验分配，实现渐近最优性。
• 将该框架扩展至估计p的函数（如log p），并使用相同的自适应停止机制。
• 将自适应采集与总变差正则化图像重建相结合，以利用成像数据中的空间相关性。

实验结果

研究问题

• RQ1 与固定二项分布或负二项分布采样相比，自适应试验分配是否能显著降低伯努利参数估计的误差？
• RQ2 在未知p的前提下，数据驱动的停止规则能在多大程度上逼近已知p的最优分配性能？
• RQ3 所提出的基于网格图的框架如何实现贝叶斯估计中最优停止规则的高效计算？
• RQ4 在小p值的低光照成像中，应用自适应采样可实现多大的估计精度提升？
• RQ5 该自适应框架能否扩展至估计p的非线性函数（如log p），并实现性能提升？

主要发现

• 所提出的阈值停止规则实现了渐近最优性，其性能与已知p的预言机辅助解决方案相当。
• 在低光子数主动成像仿真中，该方法相比传统二项分布采样，将均方误差降低了高达4.36 dB。
• 在估计log p时，与二项分布采样相比，MSE改善最高达1.86 dB；与负二项分布采样相比，最高达3.78 dB。
• 随着试验预算的提高，MSE的改善程度也增强，表明在资源更丰富的场景中收益更显著。
• 基于网格图的框架实现了最优停止规则的高效计算，并将设计问题从一般树结构简化为结构化图。
• 即使与总变差正则化结合，该方法仍保持性能优势，表明其在真实成像流程中具有鲁棒性。