[论文解读] Exact Post-Selection Inference for Changepoint Detection and Other Generalized Lasso Problems

Sangwon Hyun, Max G’Sell+1 more|arXiv (Cornell University)|Jun 11, 2016

Statistical Methods and Inference参考文献 31被引用 7

一句话总结

本文通过利用广义lasso路径的顺序表征及选择性推断的最新进展，为变点检测及其他广义lasso问题开发了精确的后模型选择推断方法。该方法可在路径上任意模型选择事件的条件下，对均值向量的线性对比进行有效的假设检验和置信区间估计，并在使用截断正态（TG）检验时，确保原假设下p值精确均匀分布。

ABSTRACT

We study tools for inference conditioned on model selection events that are defined by the generalized lasso regularization path. The generalized lasso estimate is given by the solution of a penalized least squares regression problem, where the penalty is the l1 norm of a matrix D times the coefficient vector. The generalized lasso path collects these estimates for a range of penalty parameter (λ) values. Leveraging a sequential characterization of this path from Tibshirani & Taylor (2011), and recent advances in post-selection inference from Lee et al. (2016), Tibshirani et al. (2016), we develop exact hypothesis tests and confidence intervals for linear contrasts of the underlying mean vector, conditioned on any model selection event along the generalized lasso path (assuming Gaussian errors in the observations). By inspecting specific choices of D, we obtain post-selection tests and confidence intervals for specific cases of generalized lasso estimates, such as the fused lasso, trend filtering, and the graph fused lasso. In the fused lasso case, the underlying coordinates of the mean are assigned a linear ordering, and our framework allows us to test selectively chosen breakpoints or changepoints in these mean coordinates. This is an interesting and well-studied problem with broad applications, our framework applied to the trend filtering and graph fused lasso serves several applications as well. Aside from the development of selective inference tools, we describe several practical aspects of our methods such as valid post-processing of generalized estimates before performing inference in order to improve power, and problem-specific visualization aids that may be given to the data analyst for he/she to choose linear contrasts to be tested. Many examples, both from simulated and real data sources, are presented to examine the empirical properties of our inference methods.

研究动机与目标

• 为解决广义lasso问题中模型选择后缺乏有效推断工具的问题，特别是针对变点检测问题。
• 开发能够考虑广义lasso路径上数据依赖模型选择事件的精确假设检验与置信区间。
• 通过基于广义lasso的统一框架，将后模型选择推断扩展至融合lasso、趋势滤波及图融合lasso问题。
• 通过在推断前对广义lasso估计进行后处理，提升统计功效。
• 为数据分析师提供可视化工具与对比选择指导，以帮助其选择有意义的线性对比进行检验。

提出的方法

• 利用Tibshirani & Taylor (2011) 提出的广义lasso路径的顺序表征，建模解随惩罚参数λ减小而演变的过程。
• 应用Lee et al. (2016) 和Tibshirani et al. (2016) 提出的选择性推断最新进展，在模型选择后构建精确的条件推断。
• 推导用于线性对比的截断正态（TG）检验统计量，通过条件化于检测到的具体变点，考虑选择事件的影响。
• 通过有效设计矩阵 $X_{\beta}$ 和融合lasso解中差异的符号，定义分段检验对比，确保与观测到的选择模式一致。
• 证明分段检验对比 $v_{\text{seg}}$ 在归一化意义下与似然比检验对比 $v_{\text{lik}}$ 等价，从而支持其用于检验分段相等性的有效性。
• 实施广义lasso估计的后处理，以在保持对选择偏差完整记录的前提下提升统计功效。

实验结果

研究问题

• RQ1 能否基于融合lasso路径为变点检测问题构建精确的后模型选择推断？
• RQ2 如何开发能考虑融合lasso中变点数据依赖选择的可靠假设检验？
• RQ3 在后模型选择推断背景下，分段检验对比与似然比检验对比之间存在何种关系？
• RQ4 如何通过广义lasso估计的后处理提升选择性推断的统计功效，同时不破坏条件推断框架的有效性？
• RQ5 可为分析师提供哪些可视化工具与对比选择指导，以帮助其在模型选择后选择有意义的线性对比进行检验？

主要发现

• 所提出的截断正态（TG）检验在条件化于所选模型时，其p值在原假设下精确服从均匀分布，确保了推断的有效性。
• 在一项模拟示例中，真实变点位于位置50，存在一个虚假变点位于11，朴素Z检验在两个位置均错误地拒绝了原假设，而TG检验在虚假位置正确地未拒绝原假设。
• TG检验在真实变点位置50处正确识别出小p值（0.000），而在误报位置11的p值上升至0.359，表明其具有恰当的误差率控制能力。
• 分段检验对比 $v_{\text{seg}}$ 在归一化意义下与似然比检验对比 $v_{\text{lik}}$ 数学等价，验证了其用于检验分段相等性的适用性。
• 该方法可推广至融合lasso以外的其他广义lasso问题，包括趋势滤波与图融合lasso，从而在多种结构化估计场景中实现选择性推断。
• 对广义lasso估计进行后处理可提升统计功效，同时保持条件推断框架的有效性，该结论在模拟与真实数据示例中均得到验证。