[論文レビュー] Estimation and Inference for High Dimensional Generalized Linear Models: A Splitting and Smoothing Approach

Zhe Fei, Yi Li|arXiv (Cornell University)|Mar 11, 2019

Statistical Methods and Inference参考文献 24被引用数 12

ひとこと要約

本稿では、高次元一般化線形モデル（GLMs）に対して計算的に効率的な「分割とスムージング」手法を提案する。この手法は、データを分割し、一方のサブセットで変数選択を行い、もう一方で低次元推定を実施した後、複数回の分割に対する平均化を経て、精度行列の推定を必要とせずに妥当な推論を可能にする。この手法は、高次元における漸近正規性および正しい信頼区間のカバレッジを達成する。

ABSTRACT

The focus of modern biomedical studies has gradually shifted to explanation and estimation of joint effects of high dimensional predictors on disease risks. Quantifying uncertainty in these estimates may provide valuable insight into prevention strategies or treatment decisions for both patients and physicians. High dimensional inference, including confidence intervals and hypothesis testing, has sparked much interest. While much work has been done in the linear regression setting, there is lack of literature on inference for high dimensional generalized linear models. We propose a novel and computationally feasible method, which accommodates a variety of outcome types, including normal, binomial, and Poisson data. We use a "splitting and smoothing" approach, which splits samples into two parts, performs variable selection using one part and conducts partial regression with the other part. Averaging the estimates over multiple random splits, we obtain the smoothed estimates, which are numerically stable. We show that the estimates are consistent, asymptotically normal, and construct confidence intervals with proper coverage probabilities for all predictors. We examine the finite sample performance of our method by comparing it with the existing methods and applying it to analyze a lung cancer cohort study.

研究の動機と目的

• 特にバイナリーやカウントデータなどの複雑なアウトカムに対して、信頼性の高い推論手法が不足している高次元一般化線形モデル（GLMs）の課題に対処する。
• 大規模な精度行列の逆行列計算を要するか、厳密なチューニングパrameter選択に依存する既存手法の計算的・技術的課題を克服する。
• 高次元スパース性のもとで、適切なカバレッジ確率を達成する有効な信頼区間および仮説検定を保証する手法を開発する。
• 複数回のランダムなデータ分割に対する平均化により、選択と分割に起因するばらつきを低減し、推定の安定性と効率性を向上させる。
• 例えば肺がんにおけるSNPや遺伝子相互作用の研究など、実世界のバイオメディカルデータに実用的に応用可能であり、スパース性のもとでも頑健な推論を可能にする。

提案手法

• データセットを二つの部分にランダムに分割する：一方を変数選択用、もう一方を推定用に使用する。
• 最初のサブセットを用いて変数選択（例：LASSOを用いて）を実施し、重要な予測変数を同定することで次元削減を達成する。
• 第二のサブセットに対して、選択された変数（およびそうでない変数）を段階的に追加しながら、低次元GLMをフィットして各係数を推定する。
• 分割と推定のプロセスをB回繰り返し、得られた係数推定値を平均化することで、滑らかで安定した推定器を取得する。
• 分割と選択のばらつきを考慮するため、無限小ジャックナイフ法を用いて頑健な分散推定器を導出する。
• 滑らかにした推定値およびその分散・共分散行列を用いて、信頼区間を構築し、仮説検定を実施する。これにより、ややきつい条件下でも正しいカバレッジが保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元精度行列推定を必要とせずに、高次元GLMsにおける推論が可能な計算的に実行可能な手法を開発できるか？
• RQ2 分割とスムージング手法は、スパース性のもとで漸近正規性を示し、妥当な信頼区間を提供するか？
• RQ3 既存のデスパースィファイドLASSOや選択後推論手法と比較して、有限標本における性能はいかがなものか？
• RQ4 遺伝疫学におけるSNP-喫煙相互作用のような複雑な相互作用に対しても、信頼性のある推論を提供できるか？
• RQ5 スパース性仮定が僅かに満たされている、あるいは部分的に破綻している状況においても、この手法はどの程度頑健に保たれるか？

主な発見

• 提案手法SSGLMは、高次元設定下でも漸近正規性を達成し、信頼区間の正しいカバレッジ確率を実現する。
• 肺がんコhort研究において、SSGLMを用いたモデル2は、ベースラインモデル（R² = 0.0938）よりも25%多く疾患状態の変動を説明した（R² = 0.1168）。デスパースィファイドLASSO手法（R² = 0.1018）を上回った。
• SSGLMベースのモデルのAUC（0.69）は、デスパースィファイドLASSOモデル（0.668）を上回り、より優れた識別性能を示した。
• SNP rs3117582に関しては、肺がんとの有意な関連性が認められなかった（p値 = 0.97）。これは、過去の矛盾する報告を解消した。
• データ分割と低次元GLMのフィッティングを並列処理可能であるため、計算効率性に優れた。
• 無限小ジャックナイフ分散推定器は、パrametric仮定を必要とせず、安定性と頑健性の面でバギングに類似した正確な推論を提供した。