[論文レビュー] Stochastic Approximation EM for Logistic Regression with Missing Values

Wei Jiang, Julie Josse+1 more|arXiv (Cornell University)|May 11, 2018

Statistical Methods and Bayesian Inference参考文献 24被引用数 1

ひとこと要約

本稿では、欠損データを伴うロジスティック回帰におけるパrameter推定、分散推定、信頼区間、モデル選択、不完全なテストセットにおける予測を可能にする、メトロポリス・ハスティングスサンプリングを用いた確率的近似EMアルゴリズムを提案する。この手法は計算的に効率的であり、シミュレーションおよび実臨床データセット（外傷患者）において、良好な被覆率と変数選択性能を示している。

ABSTRACT

Logistic regression is a common classification method in supervised learning. Surprisingly, there are very few solutions for performing it and selecting variables in the presence of missing values. We propose a stochastic approximation version of the EM algorithm based on Metropolis-Hasting sampling, to perform statistical inference for logistic regression with incomplete data. We propose a complete approach, including the estimation of parameters and their variance, derivation of confidence intervals, a model selection procedure, and a method for prediction on test sets with missing values. The method is computationally efficient, and its good coverage and variable selection properties are demonstrated in a simulation study. We then illustrate the method on a dataset of polytraumatized patients from Paris hospitals to predict the occurrence of hemorrhagic shock, a leading cause of early preventable death in severe trauma cases. The aim is to consolidate the current red flag procedure, a binary alert identifying patients with a high risk of severe hemorrhage. The methodology is implemented in the R package misaem.

研究の動機と目的

• 教師あり学習における欠損値を伴うロジスティック回帰のための頑健な手法の不足に対処すること。
• パrameter推定および分散-共分散推定を含む、完全な統計的推定を可能にする計算的に効率的なアプローチを開発すること。
• 欠損値を含むテストセットにおけるモデル選択および予測を可能にすること。
• シミュレーションスタディおよび外傷患者の臨床アウトカムにおける実世界応用を通じて、手法の性能を検証すること。
• 広範な研究利用を可能にするために、misaemパッケージとして実装すること。

提案手法

• 欠損データを伴うロジスティック回帰におけるパrameter推定を繰り返し行うために、確率的近似EMアルゴリズムが用いられる。
• 欠損データに起因する積分が解析的に解けない場合に備え、Eステップにメトロポリス・ハスティングスサンプリングが統合される。
• 回帰係数とその標準誤差を同時に推定することで、信頼区間の構築が可能になる。
• 観察された対数尤度に基づいた修正されたAIC基準を用いてモデル選択が行われる。
• イムピュテーションと推定ステップを統合することで、欠損値を含むテストセットにおける予測が可能になる。
• 再現可能でスケーラブルな使用を目的として、Rパッケージmisaemに実装されている。

実験結果

リサーチクエスチョン

• RQ1 メトロポリス・ハスティングスサンプリングを用いた確率的近似EMアルゴリズムは、ロジスティック回帰における欠損データを効果的に処理できるか？
• RQ2 本手法のパrameter推定の正確さおよび信頼区間の被覆率はどの程度か？
• RQ3 本手法は、欠損値を含むテストセットにおける信頼性の高い変数選択および予測を可能にするか？
• RQ4 計算的効率性および統計的性能の観点から、既存の手法と比較してどのように差がつくか？
• RQ5 本手法は、実臨床データにおける出血性ショックのリスクが高いかを特定する能力を向上させるか？

主な発見

• 本手法は、中程度から高い欠損率であっても、信頼区間の良好な被覆率を達成した。
• 変数選択の性能は高く、シミュレーションスタディにおいて関連する予測変数を正しく同定した。
• 計算的効率性が高く、サンプルサイズおよび欠損率の増加に対しても良好にスケーリングした。
• 多発外傷データセットにおいて、標準的手法（レッドフラッグ手順）よりも、出血性ショックのリスクが高いかを的確に特定する能力が向上した。
• Rパッケージmisaemへの実装により、多様な研究環境での実用的応用が可能になった。
• 欠損データが存在する状況においても、p値の算出およびモデル選択を含む完全な統計的推定を成功裏にサポートした。