[論文レビュー] Regularisation Paths for Conditional Logistic Regression: the clogitL1 package

Stephen Reid, Robert Tibshirani|arXiv (Cornell University)|May 14, 2014

Statistical Methods and Inference参考文献 5被引用数 8

ひとこと要約

この論文は、循環座標降下と逐次強力ルールを用いてlassoおよびエlastic net罰則を伴う正則化された条件付きロジスティック回帰モデルを適合するためのclogitL1 Rパッケージを紹介する。条件付きモデルは、特に層別切片を伴うケースコントロール研究において、非条件付きモデルと同等の予測精度を維持しながら変数選択において優れた性能を示すことが実証された。

ABSTRACT

We apply the cyclic coordinate descent algorithm of Friedman, Hastie and Tibshirani (2010) to the fitting of a conditional logistic regression model with lasso ($\ell_1$) and elastic net penalties. The sequential strong rules of Tibshirani et al (2012) are also used in the algorithm and it is shown that these offer a considerable speed up over the standard coordinate descent algorithm with warm starts. Once implemented, the algorithm is used in simulation studies to compare the variable selection and prediction performance of the conditional logistic regression model against that of its unconditional (standard) counterpart. We find that the conditional model performs admirably on datasets drawn from a suitable conditional distribution, outperforming its unconditional counterpart at variable selection. The conditional model is also fit to a small real world dataset, demonstrating how we obtain regularisation paths for the parameters of the model and how we apply cross validation for this method where natural unconditional prediction rules are hard to come by.

研究の動機と目的

• lassoおよびエlastic net罰則を伴う正則化された条件付きロジスティック回帰のための効率的な計算フレームワークの開発。
• 層別切片が標準ロジスティック回帰を複雑にするケースコントロール研究における変数選択の課題に対処すること。
• 非条件付き予測ルールが存在しない条件付き尤度モデルに適した交差検証手法の実装と評価。
• 変数選択および予測精度の観点から、条件付きモデルと非条件付きモデルの性能を比較すること。
• 疫学的および生物統計学的研究における実用的応用を可能にする、公開可能なRパッケージ（clogitL1）の提供。

提案手法

• 各層内での正規化定数および微分の効率的計算のため、再帰的公式を用いて、罰則付き条件付き対数尤度を最適化するための循環座標降下を適用する。
• 不要な係数更新をスキップするために逐次強力ルールを採用し、反復ごとの計算量を削減することで収束を著しく高速化する。
• l1（lasso）とl2（リッジ）正則化を組み合わせたエlastic net罰則を用い、変数選択と安定性のバランスを図る。
• 全層を一度に除外する独自の交差検証アプローチを実装し、除外された層の対数尤度寄与の和を誤差推定値として使用する。
• Gailら（1981）の再帰的アルゴリズムを活用して、条件付き尤度およびその微分の正確な計算を実現する。
• 罰則パラメータ（λ）の範囲にわたるモデル挙動を調査するための正則化パスを構築し、交差検証による最適λ選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 lassoおよびエlastic net罰則を伴う正則化された条件付きロジスティック回帰は、循環座標降下と逐次強力ルールを用いて効率的に計算可能か？
• RQ2 ケースコントロール研究において、条件付きモデルの変数選択性能は非条件付きロジスティック回帰モデルと比べてどのように異なるか？
• RQ3 データが条件付き分布に従って生成された場合、条件付きモデルの予測精度は非条件付きモデルに対してどの程度か？
• RQ4 非直感的な予測ルールが欠如する条件付きロジスティック回帰モデルに、交差検証を意味的に適用する方法は何か？
• RQ5 病理的分離問題は条件付きロジスティック回帰にどのような影響を及ぼし、正則化はそれらをどのように緩和するか？

主な発見

• 条件付きロジスティック回帰モデルにlassoおよびエlastic net罰則を適用した場合、特にデータが条件付き分布に従って生成された場合、非条件付きモデルよりも優れた変数選択性能を示す。
• 逐次強力ルールの使用により、計算時間が著しく短縮され、精度を損なわずに正則化パスの走査が高速化された。
• 切片推定値が存在しないにもかかわらず、条件付きモデルは非条件付きモデルと同等の予測性能を維持した。
• 除外された全層の対数尤度寄与の和を誤差指標として使用することで、条件付きモデルに対する交差検証が実現可能であることが示された。
• 病理的分離に起因する解は、条件付きモデルにおいてより顕著で深刻であり、数値的安定性を確保するため、より強い正則化が不可欠であることがわかった。
• clogitL1 Rパッケージは、提案手法を効果的に実装しており、実世界のケースコントロール研究への応用を可能にするためにCRANで公開されている。