[論文レビュー] Selective inference in regression models with groups of variables

Joshua R. Loftus, Jonathan Taylor|arXiv (Cornell University)|Nov 4, 2015

Statistical Methods and Inference参考文献 5被引用数 27

ひとこと要約

この論文は、グループ化された変数を伴う回帰モデルに対する選択的仮説検定フレームワークを導入し、結果変数の2次形式を用いて、選択されたグループの正確な有意性検定を可能にする。既知または未知の分散のもとで、切断カイ二乗分布またはF分布を用いて正確なp値を提供し、データ分割を用いずに選択的第一種誤りを制御する。本手法は、グループ付きの前方逐次選択に適応したRパッケージとして効率的に実装されている。

ABSTRACT

We provide a general mathematical framework for selective inference with supervised model selection procedures characterized by quadratic forms in the outcome variable. Forward stepwise with groups of variables is an important special case as it allows models with categorical variables or factors. Models can be chosen by AIC, BIC, or a fixed number of steps. We provide an exact significance test for each group of variables in the selected model based on an appropriately truncated $χ$ or $F$ distribution for the cases of known and unknown $σ^2$ respectively. An efficient software implementation is available as a package in the R statistical programming language.

研究の動機と目的

• 前方逐次選択（グループ付き）などのデータ駆動型手順を用いてモデルを選択する際の無効なp値の問題に対処すること。
• アフィン不等式を超える一般化された数学的枠組みを構築し、応答変数における2次形式に基づく選択的仮説検定を発展させること。
• モデル選択バイアスを考慮した選択モデルにおける変数グループの正確な有意性検定を可能にすること。
• 選択と推論の両方にすべてのデータを用いることで、データ分割による効率損失を回避し、完全な検出力（パワー）を維持する方法を提供すること。
• 高次元回帰における構造的予測子を伴う実世界の応用を想定し、Rパッケージによる実装を支援すること。

提案手法

• モデル選択を応答変数における2次不等式として定式化し、2次形式による選択領域の特徴付けを可能にする。
• 選択イベントを条件付きにしたときのグループ検定統計量の正確な帰無分布を導出し、選択領域に制限されたカイ二乗分布またはF分布を用いる。
• 切断分布を用いて、最終モデル内の各グループの正確なp値を計算し、選択的第一種誤りを制御する。
• 分散が既知の場合と未知の場合をそれぞれカイ二乗分布とF分布を用い、適切な切断を施すことで処理する。
• グループ内直交性とテールバウンド（例：Laurent and Massart, 2000）を活用し、パワー解析のための高確率上界を導出する。
• selectiveInference Rパッケージを用いて、グループ付き前方逐次選択およびAIC、BIC、固定ステップ数などのさまざまなモデル選択基準をサポートする形で、効率的な実装を実現する。

実験結果

リサーチクエスチョン

• RQ1 前方逐次回帰によって選択された変数グループに対して、選択手順を考慮した正確な仮説検定をどのように行えるか？
• RQ2 BICなどのデータ依存的基準によってモデルが選択された場合、グループの有意性を検定する適切な帰無分布は何か？
• RQ3 選択的仮説検定を個々の変数からグループに拡張することは可能か？ その際、第一種誤りの制御を保ちつつ、データ分割を避けることができるか？
• RQ4 モデル選択バイアスが存在する状況で、提案手法の検出力は古典的検定と比べてどう異なるか？
• RQ5 帰無仮説下での最大検定統計量の理論的境界は何か？ それらは非帰無グループの検出にどのように寄与するか？

主な発見

• 提案手法のTχおよびTF検定は、モデル選択イベントを条件付きにすることで、モデルが適応的に選ばれた場合でも、選択的第一種誤り率を正確に制御する。
• カリフォルニア州郡の健康データ例では、選択的p値（例：けが死の率で0.086）が、ナイーブp値（<0.001）よりも顕著に大きくなり、選択バイアスが是正されている。
• n=100、p=100、G=50のグループ（各グループサイズ2）のシミュレーションでは、Tχ検定が正しいサイズを維持しており、各ステップにおける実効的パワーは0.315から0.641の範囲に分布している。
• 理論的境界から、50のグループ（各グループサイズ2）において、帰無カイ二乗統計量が27.28を超える確率はたった1%にとどまることが示され、非帰無グループはおそらく早期に選択される可能性が高い。
• 直交グループのもとで1スパース代替仮説に対して、本手法は漸近的に最適であり、ガウス分布およびカイ二乗変数のテールバウンドに起因してボンフェローニ水準のパワーに一致する。
• selectiveInference Rパッケージにより、グループベースの予測子を用いたAIC、BIC、または固定ステップ数によるモデル選択が可能となり、実用的応用が可能になる。