[論文レビュー] Generalized Linear Model for Gamma Distributed Variables via Elastic Net Regularization

Xin Chen, Aleksandr Y. Aravkin+1 more|arXiv (Cornell University)|Apr 20, 2018

Statistical Methods and Inference参考文献 11被引用数 10

ひとこと要約

この論文は、ガンマ分布に従う応答変数を用いた一般化線形モデル（GLM）に、エラスティック・ネット正則化を適用するための効率的で並列処理可能なRパッケージであるglmGammaNetを紹介する。ガンマGLMではグローバルな二次上界が存在しないため、標準的なGLM手法に比べて変数選択性能が劣るが、局所的二次近似を用いたカスタム化された加速プロキシマル勾配法を開発することで、この欠如を補い、優れた変数選択と予測誤差の低減を達成した。

ABSTRACT

The Generalized Linear Model (GLM) for the Gamma distribution (glmGamma) is widely used in modeling continuous, non-negative and positive-skewed data, such as insurance claims and survival data. However, model selection for GLM depends on AIC/BIC criteria, which is computationally impractical for even a moderate number of variables. In this paper, we develop variable selection for glmGamma using elastic net regularization (glmGammaNet), for which we provide an algorithm and implementation. The glmGammaNet model is more challening than other more common GLMs as the likelihood function has no global quadratic upper bound, and we develop an efficient accelerated proximal gradient algorithm using a local model. We report simulation study results and discuss the choice of regularization parameter. The method is implemented in the R package glmGammaNet.

研究の動機と目的

• Rにおいてガンマ分布に従うデータに対する並列処理可能で正則化されたGLMの実装が不足している問題に対処すること。
• グローバルな二次上界が存在しないガンマGLMに適した、エラスティック・ネット正則化付きの効率的最適化アルゴリズムを開発すること。
• 非負で右に歪んだ応答を持つ高次元データにおいて、交差検証を用いたスケーラブルなモデル選択を可能にすること。
• 標準的なAIC/BICに基づくGLM適合法に比べ、予測精度と変数選択性能を向上させること。
• 保険請求や生存分析などの実世界応用に適した実用的でオープンソースのRパッケージ（glmGammaNet）を提供すること。

提案手法

• ガンマGLMの適合問題を、エラスティック・ネットペナルティを含む正則化最適化問題として定式化する。
• 非グローバルな二次上界に対処するため、尤度関数の局所的二次近似を用いた加速プロキシマル勾配法を開発する。
• 安全なラインサーチを実装したが、すべての実験で非活性状態のままだった。
• 最適な正則化パラメータλの選択のため、交差検証スキームを用いる。
• λの選択に2つの戦略を適用：保守的（CVにおける最小対数尤度）と能動的（1標準誤差ルール）。
• 大規模データセットにおける効率的計算を実現するため、マルチコア並列処理を実装する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな二次上界が存在しないにもかかわらず、ガンマ分布応答変数に対するエラスティック・ネット正則化GLMを、効率的かつ安定的に最適化できるか？
• RQ2 glmGammaNetの性能は、AIC/BICに基づく標準GLMと比較して、予測誤差と変数選択の観点でどのように異なるか？
• RQ3 異なる正則化パラメータ選択戦略（例：1標準誤差ルール）が、モデルの精度とスパarsityに与える影響は何か？
• RQ4 ノイズが多いか高次元なデータに適用した場合、glmGammaNetによる変数選択が予測誤差をどの程度低減できるか？
• RQ5 提案手法は、高次元設定におけるスケーラブルな推論を実現するため、効率的に並列化可能か？

主な発見

• glmGammaNetは予測誤差が9.3%にまで低下し、正則化なしの標準的なglmGamma（10.4%）に比べ顕著な改善を示した。
• glmGammaNet.1sdは平均して10個の真のゼロ係数のうち7.815個を特定し、8個以上を正しく特定する確率が50%であった。これは優れた変数選択性能を示している。
• glmGammaNet.1sdが特定したゼロ係数を持つ変数を削除した後、予測誤差は5.8%に低下した。これは、変数選択によるノイズ低減が精度向上に寄与することを示している。
• glmGammaNet.1sdは50%の確率で8個以上の真のゼロ係数を特定したが、これはglmGammaNet（ゼロ係数を特定する確率35%）やglmGammaNet.percentile（ピークで6個）を上回る性能であった。
• 安全なラインサーチはすべての実験で活性化されず、局所的二次近似がすべての実験で安定的かつ十分な降下方向を提供していたことが示された。
• パッケージglmGammaNetはRで利用可能で、マルチコア並列処理をサポートしており、大規模なガンマGLM応用に適したスケーラブルな計算を可能としている。