[論文レビュー] A review and recommendations on variable selection methods in regression models for binary data

Souvik Bag, Kapil Gupta+1 more|arXiv (Cornell University)|Jan 16, 2022

Gene expression and cancer classification被引用数 4

ひとこと要約

本稿は、二値データにおけるロジスティック回帰における16種類の頻度的変数選択手法を包括的にレビューし、実証的比較を実施した。手法は、検定ベース、ペナルティベース、スクリーニングベース、およびツリー基地の4つのカテゴリーに分類される。相関構造が異なる低次元、中次元、高次元設定において性能を評価し、その結果、スパースな高次元モデルではSCADおよびMCPが優れた性能を示す一方、遺伝子発現データに対してはBorutaおよびvarSelRFが予測精度と変数選択の一貫性に優れるため最適であると結論づけた。

ABSTRACT

The selection of essential variables in logistic regression is vital because of its extensive use in medical studies, finance, economics and related fields. In this paper, we explore four main typologies (test-based, penalty-based, screening-based, and tree-based) of frequentist variable selection methods in logistic regression setup. Primary objective of this work is to give a comprehensive overview of the existing literature for practitioners. Underlying assumptions and theory, along with the specifics of their implementations, are detailed as well. Next, we conduct a thorough simulation study to explore the performances of fifteen different methods in terms of variable selection, estimation of coefficients, prediction accuracy as well as time complexity under various settings. We take low, moderate and high dimensional setups and consider different correlation structures for the covariates. A real-life application, using a high-dimensional gene expression data, is also included in this study to further understand the efficacy and consistency of the methods. Finally, based on our findings in the simulated data and in the real data, we provide recommendations for practitioners on the choice of variable selection methods under various contexts.

研究の動機と目的

• 二値アウトカムにおける古典的頻度的変数選択手法の体系的レビューを提供すること。
• 次元数や相関構造が異なる多様なシミュレーション設定において、16種類の変数選択手法の性能を評価すること。
• 各手法の推論的正確性（変数選択、回帰係数推定）および予測性能（Brierスコア、予測精度）を評価すること。
• シミュレーション結果と実際の高次元遺伝子発現データセットを基に、実務家向けの根拠に基づく推奨事項を提示すること。
• 既存手法の限界を特定し、グループ構造や超高次元設定を含む今後の研究方向を提案すること。

提案手法

• 変数選択手法を4つのタイプに分類：検定ベース（例：SIVS, VSURF）、ペナルティベース（例：LASSO, SCAD, MCP, ElasticNet）、スクリーニングベース（例：SIS, null screen）、ツリー基地（例：Boruta, varSelRF）。
• サンプルサイズ（n）、予測変数の数（m）、相関構造（無相関、等相関、ブロック相関）、スパarsity（真の予測変数の数）を変化させた18の異なる設定でシミュレーションスタディを実施。
• 標準的な性能指標を用いる：変数選択の正確性（例：真正陽率、誤発見率）、回帰係数推定のバイアス、予測精度（Brierスコア）、計算時間。
• 統計遺伝学分野の実際の高次元遺伝子発現データセットを用いて結果を検証し、疾患分類に寄与する重要な遺伝子を同定することを目的とした。
• 計算コストの高い手法（例：SIVS, PIMP）に対して並列化実装を採用し、nおよびmの異なる値における時間計算量を評価。
• 推論的性能と予測性能の両方を比較し、モデルのスパarsity、正確性、計算可能性のトレードオフに注目した。

実験結果

リサーチクエスチョン

• RQ1 低次元、中次元、高次元設定下で、異なる変数選択手法の変数選択正確性、回帰係数推定、予測性能（Brierスコア）はどのように異なるか？
• RQ2 予測変数間の相関構造が、特に高次元状況下での各手法の性能にどのように影響を与えるか？
• RQ3 高次元データにおいて、モデルのスパarsity、予測精度（Brierスコア）、計算効率のバランスを最も良く満たす手法は何か？
• RQ4 高次元の実世界の遺伝子発現データにおいて、Boruta や varSelRF といったツリー基地手法はペナルティベースおよびスクリーニングベース手法と比べてどのように異なるか？
• RQ5 特に、関連する変数の包括的リストが必要な状況では、LASSO に対して ElasticNet や NTA を優先すべき状況はどのようなものか？

主な発見

• 低次元設定（n ≫ m）では、SIVS, Best Subset, および MCP が他の手法を上回る性能を示す一方、LASSO や ElasticNet は余分な変数を多く選択する傾向にある。
• 中次元設定（n ≈ m）では、Best Subset および MCP が安定した高い性能を維持し、SCAD はやや高い偽陽性率を示しながらも、予測の外挿性能が高く正確である。
• 高次元設定（m > n）では、スクリーニングベース手法が非常に少ない変数を選択するが、予測精度は妥当な水準を維持しており、スパースモデル構築に適している。
• 高次元スパースモデルでは、SCAD および MCP が最も低い Brier スコアを達成し、真の予測変数の適切な数を最もよく選択しており、LASSO や ElasticNet を上回る。
• Boruta および varSelRF は、実際の遺伝子発現データにおいて予測精度が最も高く、重要遺伝子の選択数も一貫しており、生物学的応用に最適である。
• SIVS, VSURF, および PIMP は計算コストが高く、理論的利点があるものの、超高次元設定では避けるべきである。