[論文レビュー] Logistic Regression with Missing Covariates -- Parameter Estimation, Model Selection and Prediction within a Joint-Modeling Framework

Wei Jiang, Julie Josse+2 more|arXiv (Cornell University)|May 11, 2018

Statistical Methods and Bayesian Inference参考文献 31被引用数 5

ひとこと要約

本稿は、欠損が at at random (MAR) 機序に従う状況下で、欠損した予測変数を伴うロジスティック回帰に対する計算的に効率的な確率的近似EM（SAEM）アルゴリズムを提案する。この手法は、パラメータ推定、分散推定、信頼区間構築、BICを用いたモデル選択、および欠損値を含む新しい観測値の予測を可能にし、シミュレーションおよび外傷患者データセット（Rパッケージ misaem を用いて）の結果から、多重代入法よりもバイアスとカバレッジの面で優れていることが示された。

ABSTRACT

Logistic regression is a common classification method in supervised learning. Surprisingly, there are very few solutions for performing logistic regression with missing values in the covariates. We suggest a complete approach based on a stochastic approximation version of the EM algorithm to do statistical inference with missing values including the estimation of the parameters and their variance, derivation of confidence intervals and a model selection procedure. We also tackle the problem of prediction for new observations (on a test set) with missing covariate data. The methodology is computationally efficient, and its good coverage and variable selection properties are demonstrated in a simulation study where we contrast its performances to other methods. For instance, the popular approach of multiple imputation by chained equations can lead to estimates that exhibit meaningfully greater biases than the proposed approach. We then illustrate the method on a dataset of severely traumatized patients from Paris hospitals to predict the occurrence of hemorrhagic shock, a leading cause of early preventable death in severe trauma cases. The aim is to consolidate the current red flag procedure, a binary alert identifying patients with a high risk of severe hemorrhage. The methodology is implemented in the R package misaem.

研究の動機と目的

• 実世界のデータにおける欠損予測変数を伴うロジスティック回帰のための、頑健で計算的に効率的な手法の不足を解消すること。
• MAR欠損の下で、パラメータ推定、分散推定、信頼区間を含む完全な統計的推論を可能にする統合的モデリングフレームワークの構築。
• 欠損データ下でも利用可能なペナルティ付き観察尤度基準（BIC）を用いたモデル選択の実現。
• 欠損予測変数値を有する新しい観測値のための予測フレームワークの提供。
• 多重代入法などの既存手法を上回り、有限標本におけるバイアスを低減し、カバレッジを向上させる。

提案手法

• 本稿では、EMの期待ステップを代替するため、メトロポリス・ハスティングス法によるモンテカルロサンプリングを用いた確率的近似EM（SAEM）アルゴリズムを採用している。
• SAEMは、完全データ尤度関数の条件付き期待値を再帰的確率的近似で推定することで、大規模なモンテカルロサンプルの必要性を回避し、計算コストを低減する。
• 分散推定にはルイスの公式のモンテカルロ版を用い、標準誤差および信頼区間の計算を可能にしている。
• モデル選択には、不完全データに適応したペナルティ付き観察尤度基準（BIC）を用い、欠損が存在する状況下での変数選択を可能にしている。
• 新しい観測値の予測は、推定モデル下での欠損値の事後分布にわたる統合によって実施されている。
• 本手法は、CRANに公開されたRパッケージ misaem で実装されており、GitHubを介した完全な再現性が確保されている。

実験結果

リサーチクエスチョン

• RQ1 MAR欠損の下で、提案されたSAEMベースのロジスティック回帰法は、多重代入法と比較して、パラメータ推定のバイアスとカバレッジの面でどのように異なるか？
• RQ2 予測変数が欠損している状況下でも、SAEMフレームワークはBICを用いた信頼性のあるモデル選択を可能にするか？
• RQ3 本手法は、欠損予測変数値を有する新しい観測値の予測に対してどれほど効果的か？
• RQ4 高い欠損率を示す実世界の医療データにおいて、統計的効率性と正確性の面で、既存の手法を上回るか？
• RQ5 データ分布の形状（例：歪度）が本手法の性能に与える影響は何か？また、事前処理としての対数変換は結果を改善するのか？

主な発見

• シミュレーションでは、SAEM法が95%信頼区間に対して93.8–95.5%のカバレッジを達成し、t分布下でβ₃のケースで81.5%であった多重代入法（mice）を上回り、バイアスも低かった。
• SAEM法は、t分布およびガウス混合分布の両方の誤差分布下でも、全パラメータで良好なカバレッジ（94–95%）を維持したのに対し、多重代入法（mice）はカバレッジ不足（例：β₃で81.5%）と高いバイアスを示した。
• TraumaBaseデータセットでは、SAEM法がAUC 88.5%、正答率86.9%、感度74.6%、特異度88.2%を達成し、予測性能においてほとんどの競合手法を上回った。
• AUCおよび特異度において、missForest、impMean、impPCA、miceを上回り、predSVMを除く全手法の中で最高の精度（41.1%）を示した。
• 本研究では、対数変換による事前処理に恩恵がないことが判明した。対数変換は観測済みデータにのみ適用され、MAR下では関係性を歪める可能性があるためである。
• Rパッケージ misaem は、SAEMアルゴリズムを効果的に実装しており、欠損予測変数を伴うロジスティック回帰の再現性があり、効率的な解析を可能にしている。