[論文レビュー] A Machine Learning Alternative to P-values

Min Lü, Hemant Ishwaran|arXiv (Cornell University)|Jan 18, 2017

Statistical Methods and Inference参考文献 7被引用数 3

ひとこと要約

本稿では、回帰モデルにおけるp値の代替として、袋だたみ（OOB）予測誤差に基づく変数の重要度（VIMP）を提案する。変数を「ノイズ化」することで予測性能がどの程度低下するかを測ることで、モデルに依存しない科学的に解釈可能な効果サイズを提供する。このVIMPは、モデルの誤指定下でも有効であり、パラメトリックおよびノンパラメトリックモデルの両方において、p値を上回る信頼性と解釈可能性を備えている。

ABSTRACT

This paper presents an alternative approach to p-values in regression settings. This approach, whose origins can be traced to machine learning, is based on the leave-one-out bootstrap for prediction error. In machine learning this is called the out-of-bag (OOB) error. To obtain the OOB error for a model, one draws a bootstrap sample and fits the model to the in-sample data. The out-of-sample prediction error for the model is obtained by calculating the prediction error for the model using the out-of-sample data. Repeating and averaging yields the OOB error, which represents a robust cross-validated estimate of the accuracy of the underlying model. By a simple modification to the bootstrap data involving "noising up" a variable, the OOB method yields a variable importance (VIMP) index, which directly measures how much a specific variable contributes to the prediction precision of a model. VIMP provides a scientifically interpretable measure of the effect size of a variable, we call the "predictive effect size", that holds whether the researcher's model is correct or not, unlike the p-value whose calculation is based on the assumed correctness of the model. We also discuss a marginal VIMP index, also easily calculated, which measures the marginal effect of a variable, or what we call "the discovery effect". The OOB procedure can be applied to both parametric and nonparametric regression models and requires only that the researcher can repeatedly fit their model to bootstrap and modified bootstrap data. We illustrate this approach on a survival data set involving patients with systolic heart failure and to a simulated survival data set where the model is incorrectly specified to illustrate its robustness to model misspecification.

研究の動機と目的

• 回帰分析におけるp値の広範な誤用とその限界、特に正しいモデル仮定に依存するという点を是正すること。
• モデルの誤指定に対しても頑健な、科学的に解釈可能な効果サイズの測定を提供すること。
• ブートストラップ再標本の袋だたみ誤差を用いて、統計的有意性の代わりに予測的重要度を導入すること。
• 予測効果サイズ用のVIMPと、発見的効果サイズ用のマージナルVIMPの2種類の変数重要度を導入すること。
• 実データおよびシミュレートされた生存データを用いて、正しいモデルと誤ったモデルの両方で、この手法の頑健性と有効性を示すこと。

提案手法

• ブートストラップ再標本からの袋だたみ（OOB）誤差を、モデル予測誤差の交差検証推定として用いる。
• 変数をノイズ化する手順を適用し、ブートストラップ標本内でその係数をゼロにすることで、予測誤差への寄与度を評価する。
• 変数をノイズ化した際のOOB予測誤差の平均的増加量としてVIMPを計算し、予測的重要な度を定量化する。
• 変数をモデルに追加した際の予測的増益を測るマージナルVIMPへと拡張する。
• パラメトリックモデル（例：コックス回帰）およびノンパラメトリックモデル（例：ランダム生存フォレスト）の両方に対してOOB手順を適用する。
• 非線形効果をモデル化するためにBスプラインを用い、1つの予測子のスプライン項のグループとしての予測的重要度を評価するクラスターベースのVIMP（cluster-VIMP）を計算する。

実験結果

リサーチクエスチョン

• RQ1 予測誤差に基づく変数重要度指標が、回帰設定におけるp値の信頼できる代替として機能できるか？
• RQ2 p値が無効となるモデル誤指定下で、提案されたVIMPインデックスはどのように性能を発揮するか？
• RQ3 VIMPがモデルの正しさに依存しない、科学的に解釈可能な効果サイズを提供できるか？
• RQ4 マージナルVIMPは、新たな予測変数を同定する際、従来の尤度比検定と比較してどのように異なるか？
• RQ5 VIMPは、非線形関係を含む複雑な関係を有するパラメトリックおよびノンパラメトリックモデルに対しても、効果的に適用可能か？

主な発見

• VIMPインデックスは、モデル仮定が満たされない場合でも有効な、頑健で解釈可能な予測的効果サイズの測定を提供する。
• 誤ったモデル仕様が適用されたシミュレートされた生存データにおいて、VIMPは腫瘍体積が予測的に重要であることを正しく特定したが、p値はモデルの不適合によりこれを反映できなかった。
• 腫瘍体積の非線形効果をBスプラインでモデル化した後、OOBモデル誤差は43％から40％に低下し、腫瘍体積のVIMPは2.27に上昇した。これは、予測的関連性の向上を示している。
• PSAのマージナルVIMPが4.20、腫瘍体積が2.27と、 concordance index を基準に標準化された各データセット間で同等の値を示し、一貫性のある推定が可能であることを示した。
• この手法は、腫瘍体積が生存に非線形的な関係を有することを正しく特定したが、線形モデルではこれを捉えられなかった。Bスプラインに基づくVIMPにより、この非線形性が適切に把握された。
• クラスターベースのVIMPにより、1つの変数の複数のスプライン項の組み合わせた予測的重要度を評価でき、解釈性が向上した。