[論文レビュー] Penalized quasi likelihood estimation for variable selection

Yoshiki Kinoshita, Nakahiro Yoshida|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference参考文献 18被引用数 5

ひとこと要約

本稿は、確率微分方程式モデルにおける変数選択のための罰則付き擬似尤度手法を開発し、多項型大偏差不等式（PLDI）を活用してモーメント収束と漸近的安定性を保証する。罰則項がPLDIを破壊しないことを確立し、一貫性のある変数選択と推定量の漸近正規性を可能にし、シミュレーション結果により、サンプルサイズが増加するにつれて高いモデル選択精度が確認された。

ABSTRACT

Penalized methods are applied to quasi likelihood analysis for stochastic differential equation models. In this paper, we treat the quasi likelihood function and the associated statistical random field for which a polynomial type large deviation inequality holds. Then penalty terms do not disturb a polynomial type large deviation inequality. This property ensures the convergence of moments of the associated estimator which plays an important role to evaluate the upper bound of the probability that model selection is incorrect.

研究の動機と目的

• 罰則付き擬似尤度を用いた確率微分方程式モデルにおける変数選択の理論的枠組みを確立すること。
• 罰則項が擬似尤度解析における多項型大偏差不等式（PLDI）を保持することを示すこと。
• PLDIの下で罰則付き推定量のモーメント収束を保証し、信頼性の高い漸近的推論を可能にすること。
• 高次元パラメータ選択を伴う確率的ボラティリティ回帰モデルにおけるシミュレーションを通じて、手法の妥当性を検証すること。
• サンプルサイズが増加するにつれて、正しいモデルを選択する確率が高くなることを示すこと。

提案手法

• 負の擬似尤度に罰則項を加えた最小化として定義される罰則付き擬似尤度推定量を用いる。Lasso、ブリッジ、適応Lassoを含む。
• 罰則付き対照関数に多項型大偏差不等式（PLDI）を適用し、尾部の挙動を制御し、モーメント収束を保証する。
• 罰則項がPLDIを破壊しないことを確立し、一様可積分性と漸近的安定性を維持する。
• 局所的に漸近的に二次的（LAQ）な条件を用いて、擬似尤度確率場のPLDIを導出する。
• 特に非凸罰則（例：SCAD）に対しては、局所的二次近似（LQA）を用いて最適化を実施する。
• やや弱い正則性条件の下で、推定量の分布収束およびモーメント収束を導出する。

実験結果

リサーチクエスチョン

• RQ1 罰則付き擬似尤度推定が、罰則項を導入した場合でも多項型大偏差不等式（PLDI）を維持できるか。
• RQ2 罰則付き推定量は確率微分方程式モデルにおいて一貫性のある変数選択を達成できるか。
• RQ3 罰則付き擬似尤度推定量の漸近的挙動（モーメント収束および分布極限）はいかなるものか。
• RQ4 有限サンプルシミュレーションにおいて、サンプルサイズが増加するにつれてモデル選択確率はどのように変化するか。
• RQ5 提案手法はSCADやMCPのような非凸罰則を扱えるか、理論的保証を維持できるか。

主な発見

• 罰則項が多項型大偏差不等式（PLDI）を破壊しないことにより、推定量の一様可積分性とモーメント収束が保証される。
• LAQ条件の下で推定量は漸近正規性およびモーメント収束を達成し、信頼性の高い推論が可能になる。
• 確率的ボラティリティ回帰モデルにおいて、正しいモデルを選択する確率は、n=1000のとき0.591からn=10000のとき0.998に上昇する。
• 誤ってゼロパラメータを含む過剰モデルを選択する確率は、n=1000のとき0.606からn=10000のとき1.0に減少する。
• 非ゼロパラメータのバイアスはサンプルサイズの増加に伴い著しく減少し、罰則付き推定量ではn=1000のとき0.396からn=10000のとき0.077に低下する。
• 罰則付き推定量は高いモデル選択精度を達成し、n=2000では98.9%、n=10000では99.8%の確率で正しいモデルを選択する。