[論文レビュー] Selective Inference for Group-Sparse Linear Models

Fan Yang, Rina Foygel Barber+2 more|arXiv (Cornell University)|Jul 27, 2016

Statistical Methods and Inference被引用数 35

ひとこと要約

本稿は、グループスパース線形モデルにおける選択的仮説検定のためのツールを開発し、モデル選択後の選択されたグループに対する有効なp値と信頼区間を可能にする。選択事象下での部分空間への射影の大きさの分布を特徴付ける「切断投影補題」を導入し、有限標本の妥当性を保証する形で、グループlasso、反復的ハードスラッグティング、前方ステップワイズ回帰へと選択的仮説検定を拡張する。

ABSTRACT

We develop tools for selective inference in the setting of group sparsity, including the construction of confidence intervals and p-values for testing selected groups of variables. Our main technical result gives the precise distribution of the magnitude of the projection of the data onto a given subspace, and enables us to develop inference procedures for a broad class of group-sparse selection methods, including the group lasso, iterative hard thresholding, and forward stepwise regression. We give numerical results to illustrate these tools on simulated data and on health record data.

研究の動機と目的

• グループスパースモデル選択後の有効な統計的仮説検定を実現するための挑戦に応えること。古典的手法は選択に起因するバイアスのため失敗する。
• グループスパースモデルにおける有限標本、非漸近的仮説検定ツールを構築すること。具体的には、選択されたグループのp値と信頼区間を含む。
• 個々の変数選択に限られた選択的仮説検定を、特にグループ化された特徴量を有する高次元設定において、グループレベルの効果へと拡張すること。
• グループlasso、反復的ハードスラッグティング、前方ステップワイズ選択を含む、複数のグループスパース選択手法に一般に適用可能なフレームワークを提供すること。
• 選択された部分空間への射影の大きさの正確な条件付き分布を導出することにより、選択後の不確実性の定量的評価を可能にする。

提案手法

• 選択事象を条件とした、部分空間LへのYの射影の二乗ノルム∥PLY∥²の分布を特徴付ける「切断投影補題」を提案する。
• 非中心多変量正規分布下での射影の大きさの正確な密度を導出。多面体制約による条件付き確率を用いて選択を反映する。
• 切断投影補題を用いて、特定のグループが選択されたことを条件とした、グループ効果のp値と信頼区間を構築する。
• 前方ステップワイズグループ選択のための効率的なアルゴリズム（アルゴリズム1）を開発。切断領域上の1次元積分を用いてp値と信頼区間を計算する。
• 条件付き密度の簡略化と数値計算の実現のため、射影ノルムの対数（Z = log(R)）への変数変換を用いる。
• 射影の方向成分を分離するため、球座標分解を用いて、径方向（大きさ）と角方向（方向）の成分を分離し、取り扱いやすい推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データに依存する選択後、グループスパース線形モデルにおける選択されたグループの有意性を検定するための有効なp値をどのように構築できるか？
• RQ2 選択事象を条件とした、応答変数の選択されたグループの方向への射影の正確な有限標本分布は何か？
• RQ3 選択が非線形的かつ高次元的であっても、選択後に有効な信頼区間を構築できるグループ効果の大きさの信頼区間は可能か？
• RQ4 個々の変数選択に限定されていた選択的仮説検定ツールを、ブロック構造を持つ特徴量を有するグループスパース設定へとどのように拡張できるか？
• RQ5 グループlasso や反復的ハードスラッグティングを含む、広範なグループスパース選択手法に適用可能な理論的基盤は何か？

主な発見

• 本稿は、選択事象を条件とした射影の大きさ∥PLY∥²の条件付き分布を正確に特徴づけ、個々のlasso選択における多面体補題のグループ版に相当する。
• 導出された分布により、グループlasso や前方ステップワイズ選択といった非線形的手法に基づく選択後でも、有効なp値と信頼区間が得られる。
• 漸近的近似に依存せず、標本サイズが小さい高次元設定においても有限標本の妥当性を保証する。
• シミュレーテッドデータおよび実際の健康記録データにおける数値結果から、提案手法が正しい第一種の誤り率と信頼区間のカバレッジ確率を維持することが示された。
• アルゴリズムの実装（アルゴリズム1）は計算的に効率的であり、切断領域上の1次元数値積分のみを必要とするため、実世界の応用に実用的である。
• 選択事象を条件付けたことで、グループスパース推定量の非ガウス分布および多峰性を持つ標本分布に対しても、古典的手法の限界を克服できる。