[论文解读] Bayes-Optimal Sequential Multi-Hypothesis Testing in Exponential Families

Jue Wang|arXiv (Cornell University)|Jun 30, 2015

Advanced Statistical Process Monitoring参考文献 39被引用 5

一句话总结

本文提出了一种计算上可行的方法，用于在指数族中实现贝叶斯最优的序列多假设检验，通过利用自然 sufficient 统计量，将后验概率空间的维度降低至指数族参数空间的维度以内。对于常见的单变量指数族，这使得状态空间降至一维或两维，从而能够高效计算最优策略，模拟结果表明其显著优于现有方法。

ABSTRACT

Bayesian sequential testing of multiple simple hypotheses is a classical sequential decision problem. But the optimal policy is computationally intractable in general, because the posterior probability space is exponentially increasing in the number of hypotheses (i.e, the curse of dimensionality in state space). We consider a specialized problem in which observations are drawn from the same exponential family. By reconstructing the posterior probability vector using the natural sufficient statistic, it is shown that the intrinsic dimension of the posterior probability space cannot exceed the number of parameters governing the exponential family, or the number of hypotheses, whichever is smaller. For univariate exponential families commonly used in practice, the probability space is of one or two dimension in most cases. Hence, the optimal policy can be attainable with only moderate computation. Geometric interpretation and illustrative examples are presented. Simulation studies suggest that the optimal policy can substantially outperform the existing method. The results are also extended to the sequential sampling control problem.

研究动机与目标

• 解决由于后验概率空间维度灾难导致的最优贝叶斯序列检验计算不可行的问题。
• 识别在观测来自指数族时，后验概率空间可降低维度的条件。
• 在上述场景中开发一种可计算的算法，以高效计算贝叶斯最优策略，尤其针对单变量指数族。
• 通过模拟研究证明最优策略相较于现有方法的优越性。
• 将该框架扩展至序列采样控制问题。

提出的方法

• 利用指数族的自然 sufficient 统计量重构后验概率向量，该统计量捕获了数据中的所有相关信息。
• 证明后验概率空间的内在维度受指数族参数数量与假设数量中较小值的限制。
• 通过几何分析将后验演化解释为低维单纯形中的路径，从而实现高效的数值计算。
• 将最优序列检验策略表述为在降维后验空间上的动态规划问题。
• 将该方法应用于常见单变量指数族（如伯努利、泊松、正态分布），其中后验空间为一维或二维。
• 通过在决策规则中引入控制成本，将框架扩展至序列采样控制问题。

实验结果

研究问题

• RQ1 当观测服从指数族分布时，序列多假设检验中的后验概率空间是否可实现维度降低？
• RQ2 在指数族模型中，后验空间的内在维度是多少？其与假设数量和模型参数数量之间有何关系？
• RQ3 在低维后验空间中，贝叶斯最优策略是否计算上可行？是否可高效计算？
• RQ4 在期望样本量和错误率方面，最优策略相较于现有次优方法的性能如何？
• RQ5 该框架是否可扩展至具有成本敏感决策的序列采样控制问题？

主要发现

• 指数族模型的后验概率空间在本质上是低维的，其维度受参数数量与假设数量中较小值的限制。
• 对于大多数单变量指数族，后验空间为一维或二维，使得最优策略在计算上可行。
• 所提出的方法可通过在降维后验空间中进行动态规划，实现贝叶斯最优策略的精确计算。
• 模拟研究显示，最优策略显著降低了期望样本量，尤其在低信噪比环境下表现更优。
• 后验空间的几何结构允许直观解释，并支持高效的数值实现。
• 该框架可推广至序列采样控制问题，其中最优策略在信息增益与采样成本之间实现平衡。