[論文レビュー] High-Dimensional Quantile Regression: Convolution Smoothing and Concave Regularization

Kean Ming Tan, Lan Wang+1 more|arXiv (Cornell University)|Sep 12, 2021

Statistical Methods and Inference参考文献 10被引用数 5

ひとこと要約

本稿では、標準的.quantile損失の滑らかさの欠如と強い凸性の欠如を克服するため、反復的重み付け$ε$-正則化を伴う畳み込み平滑化quantile回帰を提案する。この手法は、ほぼ必要十分な最小信号強度条件の下で、最適な収束速度と強いオラクル性を達成し、高次元設定における一貫性のある変数選択と効率的な推定を可能にする。

ABSTRACT

$\ell_1$-penalized quantile regression is widely used for analyzing high-dimensional data with heterogeneity. It is now recognized that the $\ell_1$-penalty introduces non-negligible estimation bias, while a proper use of concave regularization may lead to estimators with refined convergence rates and oracle properties as the signal strengthens. Although folded concave penalized $M$-estimation with strongly convex loss functions have been well studied, the extant literature on quantile regression is relatively silent. The main difficulty is that the quantile loss is piecewise linear: it is non-smooth and has curvature concentrated at a single point. To overcome the lack of smoothness and strong convexity, we propose and study a convolution-type smoothed quantile regression with iteratively reweighted $\ell_1$-regularization. The resulting smoothed empirical loss is twice continuously differentiable and (provably) locally strongly convex with high probability. We show that the iteratively reweighted $\ell_1$-penalized smoothed quantile regression estimator, after a few iterations, achieves the optimal rate of convergence, and moreover, the oracle rate and the strong oracle property under an almost necessary and sufficient minimum signal strength condition. Extensive numerical studies corroborate our theoretical results.

研究の動機と目的

• quantile回帰損失の滑らかでない性質と強い凸性の欠如に起因する理論的解析と推定効率の制限を解消すること。
• 畳み込み平滑化と反復的重み付け$´1$-正則化を組み合わせることで、強い凸性を実現し、推定性能を向上させる手法の開発。
• 高次元quantile回帰における凸罰則を用いた理論的保証の確立—特に最適な収束速度と強いオラクル性の達成。
• オラクル推定量が達成可能な最小信号強度条件がほぼ必要十分であることを特定すること。

提案手法

• 区分線形なquantile損失関数の畳み込み型平滑化を導入し、2回連続で微分可能な経験的損失関数を生成する。
• 反復的重み付け$´1$-正則化を用いて凸罰則を近似し、標準的$´1$-罰則に比べて推定バイアスを低減する。
• 平滑化された損失関数が高確率で局所的に強く凸であることを証明し、安定な最適化を可能にする。
• Bahadur表現を用いてオラクル推定量の漸近的挙動を分析し、収束速度を導出する。
• 局所線形近似フレームワークを適用し、適切な信号強度下で平滑化推定量とオラクル解を結びつける。
• 集中不等式と行列ノルムのバインドを用いて推定誤差を制御し、変数選択の一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み平滑化は、滑らかでないquantile損失を、高次元推論に適した強く凸で微分可能な関数に変換できるか？
• RQ2 平滑化損失を用いた反復的重み付け$´1$-正則化は、高次元quantile回帰においてオラクル性を達成できるか？
• RQ3 推定量が真の活性集合を回復し、最適な収束速度を達成するための最小信号強度条件は何か？
• RQ4 平滑化推定量は、標準的$´1$-正則化quantile回帰に比べてバイアスと推定効率の点で優れているか？
• RQ5 どのような条件下で平滑化推定量は最適な収束速度と強いオラクル性を達成するか？

主な発見

• 平滑化された経験的損失関数は2回連続で微分可能であり、高確率で局所的に強く凸であるため、安定な最適化が可能である。
• 反復的重み付け$´1$-正則化を施した平滑化quantile回帰推定量は、数回の反復後に最適な収束速度を達成する。
• 最小信号強度条件の下で、推定量はほぼ必要十分な条件下で強いオラクル性を達成する。
• パラメータ推定量の収束速度は$O_p(\sqrt{s \log p / n})$であり、古典的スパース推定における最適速度と一致する。
• 最小非ゼロ係数が$\|\bm{\beta}^*_{\mathcal{S}}\|_{\min} \gtrsim \sqrt{s \log p / n}$を満たす場合、推定量は高確率で真の活性集合を一貫して選択する。
• 数値実験により理論的結果が確認され、標準的$´1$-正則化QRに比べて変数選択と推定精度が向上している。