[論文レビュー] Penalized Maximum Tangent Likelihood Estimation and Robust Variable Selection

Yichen Qin, Shaobo Li+2 more|arXiv (Cornell University)|Aug 17, 2017

Statistical Methods and Inference参考文献 28被引用数 4

ひとこと要約

本稿では、チューニングパrameter t を用いて最小Kullback-Leibler距離と ℓ₂ 距離推定を組み合わせる、頑健な高次元回帰手法である罰則付き最大接線尤度推定（penalized MTE）を提案する。この手法は √(ln d / n) の最適収束速度を達成し、オラクル性質を示し、外れ値や高次元設定下でも優れた性能を発揮する。

ABSTRACT

We introduce a new class of mean regression estimators -- penalized maximum tangent likelihood estimation -- for high-dimensional regression estimation and variable selection. We first explain the motivations for the key ingredient, maximum tangent likelihood estimation (MTE), and establish its asymptotic properties. We further propose a penalized MTE for variable selection and show that it is $\sqrt{n}$-consistent, enjoys the oracle property. The proposed class of estimators consists penalized $\ell_2$ distance, penalized exponential squared loss, penalized least trimmed square and penalized least square as special cases and can be regarded as a mixture of minimum Kullback-Leibler distance estimation and minimum $\ell_2$ distance estimation. Furthermore, we consider the proposed class of estimators under the high-dimensional setting when the number of variables $d$ can grow exponentially with the sample size $n$, and show that the entire class of estimators (including the aforementioned special cases) can achieve the optimal rate of convergence in the order of $\sqrt{\ln(d)/n}$. Finally, simulation studies and real data analysis demonstrate the advantages of the penalized MTE.

研究の動機と目的

• モデルの外れ値に対して効率を保ちつつ、外れ値下でも効率的である高次元回帰推定量の開発。
• 従来の罰則付き尤度法（例：Lasso）が高次元データにおける外れ値に対して感受性を示す問題の解決。
• 提案された推定量の理論的性質の確立、特に一貫性およびオラクル性質。
• d が n に対して指数関数的に増加する超高次元設定下での手法の最適性の証明。
• 接線尤度関数を通じて、MLE、MTE、その他の推定量を特別ケースとして含む統一的枠組みの構築。

提案手法

• 対数尤度の切り捨てられたテイラー展開（lnₜ(u)）を用いた最大接線尤度推定（MTE）の提案。これは標準的対数尤度の頑健な代替手段として機能する。
• MTE推定量は、密度値が低い観測値に低い重みが与えられる重み付き尤度方程式の解と等価であり、これにより頑健性が向上する。
• MTE目的関数に非凸罰則（例：SCAD や adaptive-Lasso）を追加することで、罰則付きMTEを導入し、変数選択を可能にする。
• 罰則付きMTEは、Kullback-Leibler距離の最小化と ℓ₂ 距離の最小化を組み合わせ、頑健性と効率性のバランスを図る。
• この手法は、チューニングパrameter t によって決定される重みを用いたKullback-Leibler距離と ℓ₂ 距離の混合最小化と等価であることが示された。
• 理論的分析により、固定次元漸近的条件下では √n 一貫性とオラクル性質が確立され、超高次元設定下では最適収束速度 √(ln d / n) が達成された。

実験結果

リサーチクエスチョン

• RQ1 外れ値下でも最適収束速度を達成し、効率を保つことができる頑健な回帰推定量を構築できるか？
• RQ2 発散する予測変数数を伴う高次元線形回帰において、罰則付きMTE推定量はオラクル性質を満たすか？
• RQ3 MTE手法は、LAD や Huber や Lasso といった既存の頑健推定量と比較して、変数選択の正確性および予測性能において優れているか？
• RQ4 予測変数数 d が標本サイズ n に対して指数関数的に増加する際、罰則付きMTEの理論的収束速度は何か？
• RQ5 MTEフレームワークは、MLE や最小距離推定量、トリムム尤度推定量といった既存の推定量を、一つの頑健推定枠組みで統一できるか？

主な発見

• 罰則付きMTE推定量は、固定次元漸近的条件下で √n 一貫性およびオラクル性質を満たし、正しい変数選択と漸近正規性を保証する。
• d が n に対して指数関数的に増加する超高次元設定下では、罰則付きMTEは最適収束速度 √(ln d / n) を達成する。
• シミュレーション研究により、罰則付きMTEは、Lasso や LAD-Lasso や Huber-Lasso よりも変数選択の正確性および予測誤差において優れていることが示された。特に外れ値下で顕著な優位性を示した。
• ボストン住宅データセットにおいて、罰則付きMTEは、モデルサイズのばらつきが小さく安定した変数セットを選択し、他の手法よりも優れた予測性能を発揮した。
• eQTL データセットでは、罰則付きMTEが平均二乗予測誤差（0.565）が最小で、モデルサイズの標準偏差（1.210）も最小（100回の分割で評価）を記録した。
• eQTL データでは、4つのプローブセットが選択され、そのうち3つはLASSOでも選択されており、低外れ値下でも従来手法と強い一貫性を示した。