[論文レビュー] Sparse Poisson Regression with Penalized Weighted Score Function

Jinzhu Jia, Fang Xie+1 more|arXiv (Cornell University)|Mar 11, 2017

Statistical Methods and Inference参考文献 18被引用数 4

ひとこと要約

本稿では、未知の分散に依存しないチューニングパrameter選択を必要とせずに $β^{*}$-一貫性を達成する、スパースポアソン回帰のための新しいペナルティ付き重み付きスコア関数を提案する。従来の $β^{*}$-ペナルティ付き対数尤度法とは異なり、本手法は平方根型スコア関数を活用しており、$β^{*}$-一貫性を保証するとともに、チューニングパrameterの事前指定を可能にし、不均一なポアソンノイズ下でも優れたロバスト性を示すシミュレーション結果が得られた。

ABSTRACT

We proposed a new penalized method in this paper to solve sparse Poisson Regression problems. Being different from $\ell_1$ penalized log-likelihood estimation, our new method can be viewed as penalized weighted score function method. We show that under mild conditions, our estimator is $\ell_1$ consistent and the tuning parameter can be pre-specified, which shares the same good property of the square-root Lasso.

研究の動機と目的

• 高次元スパースポアソン回帰における $β^{*}$-ペナルティ付き対数尤度の限界、特に未知のノイズ分散に敏感である点を是正すること。
• 未知パラメータに依存するチューニングパラメータ選択を必要とせず、$β^{*}$-一貫性を達成する手法の開発。
• スルーツ・ラッソの原則をポアソンモデルに拡張し、不均一なポアソンノイズ下でもロバスト性を確保すること。
• 提案された推定量の有限標本および漸近的性能に関する理論的保証の提供。

提案手法

• スルーツ・ラッソにインspiredされ、標準スコア関数をその平方根に置き換えることで、ペナルティ付き重み付きスコア関数法を提案する。
• 未知分散に依存しない、残差の偏差と $β^{*}$-ペナルティのバランスを取る平方根型の目的関数を最小化する。
• 推定量は、変換されたスコア空間における $\|Y - X\beta\|_2 + \lambda \|\beta\|_1$ の最小化者として定義され、ロバスト性が保証される。
• 推定誤差を制御するため、中程度の偏差不等式と集中不等式を理論的分析に用いる。
• 従来の $β^{*}$-ペナルティでは失敗する不均一なポアソンノイズ下での推定安定化のため、重み付きスコア関数を用いる。
• データ依存のキャリブレーションを回避するため、事前に指定されたチューニングパラメータ $\lambda = O(\sqrt{\log p / n})$ を採用する。

実験結果

リサーチクエスチョン

• RQ1 ペナルティ付き重み付きスコア関数法は、未知の分散に依存しないチューニングパラメータ選択を伴いながらも、高次元スパースポアソン回帰で $β^{*}$-一貫性を達成できるか？
• RQ2 提案手法は、不均一なポアソンノイズ下で、従来の $β^{*}$-ペナルティ付き対数尤度法よりも優れたロバスト性を示すか？
• RQ3 スルーツ・ラッソと同様に、チューニングパラメータを事前に指定しつつ一貫性を維持できるか？
• RQ4 提案された推定量の有限標本および漸近的誤差バウンドは何か？

主な発見

• 提案された推定量は、制限固有値仮定を含むややいなごろしの正則性条件のもとで $β^{*}$-一貫性を達成する。
• チューニングパラメータ $\lambda$ は $O(\sqrt{\log p / n})$ として事前に指定可能であり、データ駆動のキャリブレーションの必要がなくなる。
• シミュレーションでは、不均一なポアソンノイズ下で、従来の $β^{*}$-ペナルティ付き対数尤度法よりも著しくロバストであることが示された。
• 理論的バウンドにより、$\beta^{*}$ における大きな勾配ノルムの確率が $\alpha(1 + o(1))$ で有界であることが確認され、一貫性が保証された。
• 不整合条件が成立しなくても、高確率で $\ell_1$ 一貫性を達成する。
• $p \gg n$ かつ $p = o(e^{n^{1/5}})$ の条件下でも、推定量は安定性を保つことができ、高次元設定を支持する。