[論文レビュー] Exact Post-Selection Inference for Changepoint Detection and Other Generalized Lasso Problems

Sangwon Hyun, Max G’Sell+1 more|arXiv (Cornell University)|Jun 11, 2016

Statistical Methods and Inference参考文献 31被引用数 7

ひとこと要約

本稿は、一般化ラッソパスの逐次的特徴付けと選択的推論分野の最近の進展を活用することで、チェンクポイント検出およびその他の一般化ラッソ問題における正確な選択後推論手法を開発する。これは、パスに沿った任意のモデル選択事象の条件下で、平均ベクトルの線形対比に関する妥当な仮説検定と信頼区間を可能にする。特に、切断正規分布（TG）検定を用いる場合、帰無仮説の下でp値が正確に一様分布に従うことを保証する。

ABSTRACT

We study tools for inference conditioned on model selection events that are defined by the generalized lasso regularization path. The generalized lasso estimate is given by the solution of a penalized least squares regression problem, where the penalty is the l1 norm of a matrix D times the coefficient vector. The generalized lasso path collects these estimates for a range of penalty parameter (λ) values. Leveraging a sequential characterization of this path from Tibshirani & Taylor (2011), and recent advances in post-selection inference from Lee et al. (2016), Tibshirani et al. (2016), we develop exact hypothesis tests and confidence intervals for linear contrasts of the underlying mean vector, conditioned on any model selection event along the generalized lasso path (assuming Gaussian errors in the observations). By inspecting specific choices of D, we obtain post-selection tests and confidence intervals for specific cases of generalized lasso estimates, such as the fused lasso, trend filtering, and the graph fused lasso. In the fused lasso case, the underlying coordinates of the mean are assigned a linear ordering, and our framework allows us to test selectively chosen breakpoints or changepoints in these mean coordinates. This is an interesting and well-studied problem with broad applications, our framework applied to the trend filtering and graph fused lasso serves several applications as well. Aside from the development of selective inference tools, we describe several practical aspects of our methods such as valid post-processing of generalized estimates before performing inference in order to improve power, and problem-specific visualization aids that may be given to the data analyst for he/she to choose linear contrasts to be tested. Many examples, both from simulated and real data sources, are presented to examine the empirical properties of our inference methods.

研究の動機と目的

• 一般化ラッソ問題、特にチェンクポイント検出において、モデル選択後の妥当な推論ツールの不足に対処すること。
• 一般化ラッソパスに沿ったデータに依存するモデル選択事象を考慮に入れた正確な仮説検定と信頼区間を構築すること。
• 一般化ラッソに基づく統一的枠組みを用いて、ファズドラッソ、トレンドフィルタリング、グラフファズドラッソへの選択後推論の拡張を図ること。
• 推論の前処理として一般化ラッソ推定値を処理することで、統計的検出力の向上を図ること。
• データアナリストが有意義な線形対比を選択するのを支援する可視化ツールと対比選択のガイダンスを提供すること。

提案手法

• Tibshirani & Taylor (2011) が提唱した一般化ラッソパスの逐次的特徴付けを用い、罰則パラメータ λ の減少に伴う解の変化をモデル化する。
• Lee ら (2016)、Tibshirani ら (2016) の最近の選択的推論分野の進展を応用し、モデル選択後の正確な条件付き推論を構築する。
• 特定のチェンクポイントが検出されたことを条件として、選択事象を考慮に入れた線形対比のための切断正規分布（TG）検定統計量を導出する。
• 有効な設計行列 $X_{\beta}$ とファズドラッソ解の差の符号を用いてセグメント検定対比を定義し、観測された選択パターンと整合させる。
• セグメント検定対比 $v_{\text{seg}}$ が正規化を除いて尤度比検定対比 $v_{\text{lik}}$ と数学的に同等であることを証明し、セグメント等価性の検定にその使用を正当化する。
• 選択バイアスを完全に反映した推論を維持しながら、一般化ラッソ推定値の後処理を実装し、検出力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ファズドラッソパスを用いたチェンクポイント検出問題に対して、正確な選択後推論を構築できるか？
• RQ2 ファズドラッソにおけるチェンクポイントのデータに依存する選択を考慮に入れた妥当な仮説検定をどのように開発できるか？
• RQ3 選択後推論の文脈において、セグメント検定対比と尤度比検定対比の関係は何か？
• RQ4 一般化ラッソ推定値の後処理は、条件付き推論枠組みを無効にすることなく、選択的推論の検出力をどのように向上させられるか？
• RQ5 モデル選択後に有意義な線形対比を選択するのを支援するための可視化ツールと対比選択ガイドラインをどのように提供できるか？

主な発見

• 提案された切断正規分布（TG）検定は、選択されたモデルの条件下で、帰無仮説の下で正確に一様分布に従うp値を生成するため、妥当な推論を保証する。
• 真のチェンクポイントが位置50にあり、誤検出の一つが位置11にあるシミュレーション例では、ナーブなZ検定は両位置で帰無仮説を誤って棄却したが、TG検定は誤検出位置で正しく帰無仮説を棄却しなかった。
• TG検定は真のチェンクポイント（位置50）を正しく同定し、p値が0.000（非常に小さい）となった。一方、誤検出位置11のp値は0.359に上昇し、適切な誤り率制御が行われていることが示された。
• セグメント検定対比 $v_{\text{seg}}$ は正規化を除いて尤度比検定対比 $v_{\text{lik}}$ と数学的に同等であるため、セグメント等価性の検定にその使用が正当化される。
• 本手法はファズドラッソに限らず、トレンドフィルタリングやグラフファズドラッソを含む他の一般化ラッソ問題へも一般化可能であり、多様な構造的推定設定における選択的推論を可能にする。
• 一般化ラッソ推定値の後処理により、統計的検出力が向上する一方で、条件付き推論枠組みの妥当性が保たれることを、シミュレーションおよび実データ例で示した。