[论文解读] Computing Valid p-value for Optimal Changepoint by Selective Inference using Dynamic Programming

Vo Nguyen Le Duy, Hiroki Toda+2 more|arXiv (Cornell University)|Feb 21, 2020

Statistical Methods and Inference参考文献 45被引用 14

一句话总结

该论文提出 OptSeg-SI，一种选择性推断方法，可为基于动态规划（DP）的最优分割检测到的变点计算精确的、非渐近的p值。通过引入参数化DP以最小化条件化并最大化统计功效，该方法在保持高统计功效和计算效率的同时实现了有效的推断，在合成数据集和真实世界数据集上的表现均优于现有方法。

ABSTRACT

There is a vast body of literature related to methods for detecting changepoints (CP). However, less attention has been paid to assessing the statistical reliability of the detected CPs. In this paper, we introduce a novel method to perform statistical inference on the significance of the CPs, estimated by a Dynamic Programming (DP)-based optimal CP detection algorithm. Based on the selective inference (SI) framework, we propose an exact (non-asymptotic) approach to compute valid p-values for testing the significance of the CPs. Although it is well-known that SI has low statistical power because of over-conditioning, we address this disadvantage by introducing parametric programming techniques. Then, we propose an efficient method to conduct SI with the minimum amount of conditioning, leading to high statistical power. We conduct experiments on both synthetic and real-world datasets, through which we offer evidence that our proposed method is more powerful than existing methods, has decent performance in terms of computational efficiency, and provides good results in many practical applications.

研究动机与目标

• 为通过最优动态规划分割检测到的变点提供统计可靠性评估。
• 克服现有选择性推断方法在变点检测中的局限性，特别是因过度条件化导致的统计功效低下问题。
• 开发一种方法，提供精确的、非渐近p值，同时最小化条件化以最大化统计功效。
• 在短序列和相关序列中确保有效的第一类错误控制和高检测功效。
• 通过在合成数据集和真实世界数据集（包括生物信息学和环境数据）上的实验，证明方法的实际应用价值。

提出的方法

• 该方法使用选择性推断（SI）计算基于最优变点分割选择事件的精确p值。
• 提出一种新颖的参数化DP算法，以高效刻画最小充分选择事件，减少过度条件化并提高统计功效。
• 仅对检测到的变点和最优分割路径进行条件化，避免对符号或特征施加不必要的额外条件。
• 在条件模型下精确推导检验统计量的抽样分布，从而实现非渐近推断。
• 该方法对非正态性和未知方差具有鲁棒性，经Box-Cox变换或方差估计后性能保持稳定。
• 通过动态规划实现计算效率，实验中观察到近乎线性时间复杂度。

实验结果

研究问题

• RQ1 选择性推断能否有效应用于基于动态规划的最优变点检测，以获得有效的p值？
• RQ2 如何最小化选择性推断中的过度条件化，以提高变点分析的统计功效？
• RQ3 所提方法在非正态性和未知方差条件下是否能保持有效的第一类错误控制？
• RQ4 与SMUCE和BinSeg-SI等现有方法相比，该方法在功效和计算效率方面表现如何？
• RQ5 在DNA拷贝数分析等真实应用场景中，该方法能否可靠检测真实变点并避免误报？

主要发现

• OptSeg-SI 方法在统计功效方面优于现有方法，包括BinSeg-SI和SMUCE，在数据集𝒟₁上的功效为0.75，在𝒟₂上为0.71。
• 即使在拉普拉斯分布、偏正态分布和t₂₀分布等非正态分布下，该方法仍能将假阳性率控制在名义水平（α = 0.05 和 α = 0.1）。
• 计算时间几乎随序列长度线性增长，表明其具有强大的计算效率，适合实际部署。
• 当方差从数据中估计时，该方法仍能保持有效的第一类错误控制，证实其在真实场景中的鲁棒性。
• 在真实世界应用中，OptSeg-SI 在Array CGH和尼罗河流量数据中检测真实变点的表现优于其他方法，与已有结果一致。
• 该方法提供保证控制误检概率的有效p值，适用于医疗和金融等高风险决策场景。