[論文レビュー] Adaptive elastic-net selection in a quantile model with diverging number of variable groups

Gabriela Ciuperca|arXiv (Cornell University)|May 16, 2018

Statistical Methods and Inference参考文献 32被引用数 5

ひとこと要約

本稿は、発散する変数群の数を伴う高次元線形モデルに対して、適応的エラスティック・ネットグループ分位数回帰推定量を提案する。適応的LASSOとエラスティック・ネット罰則を組み合わせることで、モデル選択の一貫性と非ゼロ群推定量の漸近正規性を達成し、シミュレーションにより有限標本において既存のグループ推定量よりも優れた精度を示す。

ABSTRACT

In real applications of the linear model, the explanatory variables are very often naturally grouped, the most common example being the multivariate variance analysis. In the present paper, a quantile model with structure group is considered, the number of groups can diverge with sample size. We introduce and study the adaptive elastic-net group estimator, for improving the parameter estimation accuracy. This method allows automatic selection, with a probability converging to one, of significant groups and further the non zero parameter estimators are asymptotically normal. The convergence rate of the adaptive elastic-net group quantile estimator is also obtained, rate which depends on the number of groups. In order to put the estimation method into practice, an algorithm based on the subgradient method is proposed and implemented. The Monte Carlo simulations show that the adaptive elastic-net group quantile estimations are more accurate that other existing group estimations in the literature. Moreover, the numerical study confirms the theoretical results and the usefulness of the proposed estimation method.

研究の動機と目的

• 標本サイズとともに増加する群の数を伴う高次元分位数回帰において、有意な変数群の選択という課題に対処すること。
• 標準的なグループLASSOを上回る推定精度を達成するために、エラスティック・ネット罰則を組み込むこと。
• 非ゼロ群推定量の選択的一貫性や漸近正規性といった理論的性質を確立すること。
• 提案された推定量を計算するための実用的なアルゴリズムを、部分勾配法に基づいて開発すること。

提案手法

• グループLASSOとリッジ型罰則を組み合わせた適応的エラスティック・ネット罰則を提案し、分位数回帰における推定精度を向上させる。
• 2段階の罰則処理を採用：初期分位数推定に基づく適応的重みの導出、その後に群レベルの相関を扱うためのエラスティック・ネット正則化を適用。
• 正則性条件の下で推定量の漸近的分布を導出し、非ゼロ群係数の漸近正規性を証明する。
• 部分勾配に基づくアルゴリズムを構築し、高次元設定における実用的実装を可能にする。
• 群付き予測変数を伴う線形分位数モデルに本手法を適用し、群の数が標本サイズとともに発散することを許容する。
• モンテカルロシミュレーションを用いて、既存のグループ分位数推定量と性能を比較し、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 適応的エラスティック・ネット罰則は、発散する変数群の数を伴う高次元分位数回帰において推定精度を向上させることができるか？
• RQ2 提案手法は、確率が1に収束するように、有意な群を正しく同定する選択的一貫性を達成するか？
• RQ3 非ゼロ群推定量は、妥当な推論に必要なように漸近的に正規分布に従うか？
• RQ4 提案推定量の収束速度は、群の数にどのように依存するか？
• RQ5 部分勾配に基づくアルゴリズムは有限標本において推定量を信頼性高く計算できるか？また、既存のアルゴリズムと比較してどうか？

主な発見

• 適応的エラスティック・ネットグループ分位数推定量は、標本サイズが増加するにつれて、有意な群を確率1に収束するように自動的に同定する選択的一貫性を達成する。
• 非ゼロ群推定量は漸近的に正規分布に従い、選択された群に対する妥当な統計的推論を可能にする。
• 推定量の収束速度は群の数に依存し、群の数が指数的より緩い速度（非指数的）で増加する場合には、より速い収束速度が観察される。
• モンテカルロシミュレーションにより、提案推定量が推定精度および選択性能の面で、既存のグループ推定量を上回ることが確認された。
• 部分勾配に基づくアルゴリズムは推定量を効果的に計算でき、非群化モデルにおける既存のアルゴリズムと一貫性のある結果をもたらした。
• 理論的結果は経験的に妥当性が確認され、漸近理論と有限標本挙動との間に強い一致が観察された。