[論文レビュー] More Powerful Conditional Selective Inference for Generalized Lasso by Parametric Programming

Vo Nguyen Le Duy, Ichiro Takeuchi|arXiv (Cornell University)|May 11, 2021

Statistical Methods and Inference参考文献 51被引用数 19

ひとこと要約

本稿では、一般化ラッソおよび関連問題に対する、パラメトリックプログラミングに基づく条件付き選択的仮説検定（PP-based SI）手法を提案する。従来の多面体ベースのSIでは過剰な条件付けが生じる問題を、解の経路を追跡することで最小化することで克服する。本手法は高い統計的検出力と計算効率を達成し、合成データおよび実世界のデータセットにおいて、誤検出率の優れた制御とより強力なp値を示す実証的妥当性を示している。

ABSTRACT

Conditional selective inference (SI) has been studied intensively as a new statistical inference framework for data-driven hypotheses. The basic concept of conditional SI is to make the inference conditional on the selection event, which enables an exact and valid statistical inference to be conducted even when the hypothesis is selected based on the data. Conditional SI has mainly been studied in the context of model selection, such as vanilla lasso or generalized lasso. The main limitation of existing approaches is the low statistical power owing to over-conditioning, which is required for computational tractability. In this study, we propose a more powerful and general conditional SI method for a class of problems that can be converted into quadratic parametric programming, which includes generalized lasso. The key concept is to compute the continuum path of the optimal solution in the direction of the selected test statistic and to identify the subset of the data space that corresponds to the model selection event by following the solution path. The proposed parametric programming-based method not only avoids the aforementioned major drawback of over-conditioning, but also improves the performance and practicality of SI in various respects. We conducted several experiments to demonstrate the effectiveness and efficiency of our proposed method.

研究の動機と目的

• 高次元モデル選択における主要な限界である、多面体ベースの条件付き選択的仮説検定の過剰な条件付け（低統計的検出力）を是正すること。
• 一般化ラッソ、リッジ回帰、非負の最小二乗法など、広範な正則化問題に適用可能な、一般的かつ計算的に実行可能な条件付き選択的仮説検定の枠組みを構築すること。
• 交差検証など、多面体では特徴付けが困難な複雑な選択事象に対しても有効な推論を可能にすること。
• 最小限の条件付けで正確な誤差率制御を維持しながら、選択的仮説検定の実用性と性能を向上させること。

提案手法

• 一般化ラッソ問題をパラメトリック二次計画法（QP）として定式化し、検定統計量の方向における連続的な解の経路を計算可能にする。
• パラメトリックプログラミングを用いて、パラメータの変化に伴う最適解の経路を追跡し、最小限の条件付けで検定統計量の正確な標本分布を特定する。
• 解の経路に沿ってアクティブ集合を追跡することで選択事象を特徴付け、選択領域の多面体表現の必要を回避する。
• 解の経路の経路連続性と区分的線形性を活用して、選択的p値および信頼区間を導出する。
• 交差検証による正則化パラメータ選択に対しても、固定された多面体ではなく経路依存的条件として選択事象をモデル化することで拡張する。
• パラメトリックQPソルバを効率的に活用して実装し、高次元設定でもスケーラブルな推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックプログラミングを用いることで、一般化ラッソにおける過剰な条件付けを回避し、より強力な条件付き選択的仮説検定を構築できるか？
• RQ2 提案されたPP-based SI手法は、リッジ回帰や非負の最小二乗法などの他の正則化問題へどの程度一般化可能か？
• RQ3 交差検証に基づく正則化パラメータ選択といった複雑な選択状況において、PP-based SIの統計的検出力は多面体ベースのSIと比べてどの程度優れているか？
• RQ4 提案手法は、ゲノムデータや時系列データといった実世界のデータにおいて、高い検出力を達成しながらも正確な第一種誤り率制御を維持できるか？

主な発見

• 実世界のアレイCGHデータにおいて、提案手法は多面体ベース手法（OC）と比較して顕著に小さいp値を達成し、2つのデータセットでp値の絶対値がそれぞれ55.81%および54.24%低減した。これはより高い統計的検出力を示している。
• ナイル川の流量データにおいて、1899年の変化点（位置28）を正しく同定した。これは先行研究と整合的であり、構造的変化の検出における正確性を裏付けている。
• 前立腺がんデータセットにおいて、選択された特徴量に対して有効な95%信頼区間が得られ、データ駆動型の選択に対してもカバレッジ特性が保持された。
• 合成データ（真の値が既知）を含むすべての実験において、本手法は誤検出率を正確に制御した。これは正確な誤差率制御を示している。
• 提案手法の計算コストは、Liuら（2018）の符号列挙法よりも顕著に低く、特徴量の符号組み合わせに伴う指数的スケーリングを回避した。
• ボックスプロット分析から、すべての真のコピー数変化に対して、提案手法のp値はOCのp値と等しいかそれ未満であることが確認され、より高い検出力が裏付けられた。