[论文解读] Hypothesis testing by convex optimization

Alexander Goldenshluger, A. Juditski+1 more|arXiv (Cornell University)|Nov 26, 2013

Advanced Statistical Process Monitoring参考文献 37被引用 5

一句话总结

本文提出了一种基于凸优化的假设检验框架，可为参数空间中由凸紧集定义的复合假设提供可证明的近乎最优检验。通过将检验问题表述为凸优化问题，该方法确保了计算上的高效实现，并通过解驱动的风险界提供了明确的性能保证，适用于高斯、泊松、离散和乘积模型。

ABSTRACT

We discuss a general approach to handling "multiple hypotheses" testing in the case when a particular hypothesis states that the vector of parameters identifying the distribution of observations belongs to a convex compact set associated with the hypothesis. With our approach, this problem reduces to testing the hypotheses pairwise. Our central result is a test for a pair of hypotheses of the outlined type which, under appropriate assumptions, is provably nearly optimal. The test is yielded by a solution to a convex programming problem, so that our construction admits computationally efficient implementation. We further demonstrate that our assumptions are satisfied in several important and interesting applications. Finally, we show how our approach can be applied to a rather general detection problem encompassing several classical statistical settings such as detection of abrupt signal changes, cusp detection and multi-sensor detection.

研究动机与目标

• 开发一种统一的、计算高效的假设检验方法，适用于由参数空间中凸紧集定义的复合假设。
• 在较弱正则性条件下，建立所得到检验的可证明近乎最优性。
• 通过高效、情境特定的计算，实现显式性能保证（如第一类与第二类错误边界）。
• 通过凸规划聚合，将该框架扩展至多假设检验。
• 在多种统计模型中展示其适用性，包括信号检测、排队系统和马尔可夫链。

提出的方法

• 核心检验通过求解一个凸优化问题构建，该问题最小化两个假设之间的最坏情况风险，每个假设均由参数空间中的凸紧集定义。
• 检验统计量源自对偶问题最优解的导出，从而得到基于最优对偶变量与充分统计量内积的线性决策规则。
• 通过利用对偶间隙以及参数集度量熵的性质，对风险进行边界控制，从而获得性能保证。
• 对于多假设情形，该方法通过凸规划聚合成对检验，形成一个在所有假设间风险受控的单一检验。
• 该框架使用标准凸求解器（如 Mosek、CVX）实现，即使在高维情形下也能实现高效计算。
• 理论结果基于大偏差不等式和矩阵范数界，特别是针对马尔可夫链和高斯模型中的转移矩阵。

实验结果

研究问题

• RQ1 能否为由凸紧集定义的复合假设开发一种通用且计算高效的假设检验框架？
• RQ2 如何在该框架中保证可证明的近乎最优性？‘近乎最优’在数量上具体指什么？
• RQ3 该方法在多假设检验中能多大程度上扩展，同时实现显式风险控制？
• RQ4 性能保证（如第一类与第二类错误）如何随样本量和模型复杂度变化？
• RQ5 在哪些实际统计问题中——如信号检测或排队系统——该方法能有效应用并实现可量化的性能？

主要发现

• 所提出的检验具有可证明的近乎最优性，其显式风险界量化了与理论最小错误率的偏离程度。
• 在未知服务器数量的排队系统中，当 s₁=10, s₂=9, b=5 时，该方法在 K*=679 个观测下风险不超过 0.01，与理论预测一致。
• 在同一系统中，当 s₁=10, s₂=7, b=5 时，该方法在 K*=42 个观测下风险不超过 0.01，表明其随模型复杂度的可扩展性。
• 经验第一类错误率与理论边界高度吻合：当 K=K* 时，H₁ 下的经验拒绝率为 0.0000；当 K=K*/2 时，为 0.0035，验证了风险边界的可靠性。
• 该框架可将多个成对检验聚合为单一检验，适用于 M≥2 个假设，且通过凸规划保持性能保证。
• 该方法计算高效，检验统计量可通过 Mosek 和 CVX 等凸求解器解的线性代数运算快速计算。