[論文レビュー] Smoothed Quantile Regression with Large-Scale Inference

Xuming He, Xiaoou Pan+2 more|arXiv (Cornell University)|Dec 9, 2020

Statistical Methods and Inference参考文献 21被引用数 5

ひとこと要約

本稿では、非微分可能な分位数損失を畳み込みに基づくスムージングを用いて2回微分可能で凸な代理損失関数に変換するCONQUERという滑らか化分位数回帰手法を提案する。これにより、Barzilai-Borwein勾配降下法を用いた高速かつスケーラブルな最適化と、乗数ブートストラップを用いた有効な大規模推論が可能になる。主な貢献は、従来の分位数回帰よりも回帰変数の数に関する条件を弱める条件下でも推定量の漸近正規性を確立したことにある。

ABSTRACT

Quantile regression is a powerful tool for learning the relationship between a response variable and a multivariate predictor while exploring heterogeneous effects. In this paper, we consider statistical inference for quantile regression with large-scale data in the "increasing dimension" regime. We provide a comprehensive and in-depth analysis of a convolution-type smoothing approach that achieves adequate approximation to computation and inference for quantile regression. This method, which we refer to as {\it{conquer}}, turns the non-differentiable quantile loss function into a twice-differentiable, convex and locally strongly convex surrogate, which admits a fast and scalable Barzilai-Borwein gradient-based algorithm to perform optimization, and multiplier bootstrap for statistical inference. Theoretically, we establish explicit non-asymptotic bounds on both estimation and Bahadur-Kiefer linearization errors, from which we show that the asymptotic normality of the conquer estimator holds under a weaker requirement on the number of the regressors than needed for conventional quantile regression. Moreover, we prove the validity of multiplier bootstrap confidence constructions. Our numerical studies confirm the conquer estimator as a practical and reliable approach to large-scale inference for quantile regression. Software implementing the methodology is available in the exttt{R} package exttt{conquer}.

研究の動機と目的

• 標本サイズ n と次元 p が両方とも増加する高次元・大標本設定における分位数回帰の計算的・推論的課題に対処すること。
• 大規模データにおける効率的な最適化と推論を妨げる分位数損失関数の非微分性を克服すること。
• p ≍ n^a（a ∈ (0,1)）の「次元の増加」設定において、スケーラブルかつ統計的に有効な推論手法を開発すること。
• 推定誤差およびBahadur-Kiefer線形化誤差に関する非漸近的バインディングを導出し、より弱い正則性条件のもとでの漸近正規性の妥当性を裏付けること。
• 乗数ブートストラップを用いた有効な信頼区間を提供する、実用的で計算効率の高い大規模分位数回帰フレームワークを構築すること。

提案手法

• 分位数回帰におけるチェック関数に畳み込みに基づくスムージングを適用し、2回微分可能で凸的かつ局所的強い凸性を持つ代理損失関数を構築する。
• ガウスカーネルを用いたスムージングにより、非微分可能な分位数損失を近似し、勾配に基づく最適化手法による滑らかな最適化を可能にする。
• 大規模設定において滑らか化損失関数を効率的に最適化する、高速かつスケーラブルなBarzilai-Borwein勾配降下法を実装する。
• 滑らか化推定量に関する推定誤差およびBahadur-Kiefer線形化誤差の明示的非漸近的バインディングを導出する。
• 信頼区間の構築に適した乗数ブートストラップ手順を提案・検証し、複雑な設計および誤差分布下でも頑健性を確保する。
• バンド幅選択戦略を統合し、オラクルベースのAMSEおよびデフォルト選択 h_de = {(p + log n)/n}^{2/5} を用いてバイアスと分散のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 大規模分位数回帰において、計算の高速化とスケーラビリティを実現しながら統計的妥当性を保つ滑らか化損失関数を構築可能か？
• RQ2 回帰変数の数が標本サイズとともに増加する条件下で、滑らか化推定量がどのような条件下で漸近正規性を満たすか？
• RQ3 さまざまな誤差分布下での被覆確率と信頼区間幅の観点から、乗数ブートストラップの性能は他のリサンプリング手法と比べてどうか？
• RQ4 バンド幅選択が高次元分位数回帰における推定精度と推論の信頼性に与える影響は何か？
• RQ5 大規模設定において、提案手法の計算効率は標準的分位数回帰および他のスムージング手法と比べてどうか？

主な発見

• CONQUER推定量は、従来の分位数回帰よりも回帰変数の数 p に関する条件を弱めた条件下でも漸近正規性を達成する。具体的には、a < 1/2 のとき p ≍ n^a の条件下で成立する。
• 推定誤差およびBahadur-Kiefer線形化誤差に関する非漸近的バインディングが確立され、滑らか化推定量が弱い正則性条件のもとで一様に収束することを示した。
• CONQUER用の乗数ブートストラップは、信頼区間の構築に対して有効であることが証明され、さまざまな誤差分布および分位数水準において、実効被覆率が名目水準に近く安定している。
• 数値実験では、CONQUERは標準的QRと同等またはそれ以上の推定精度を達成し、特に高次元設定では著しく高速な計算を実現した。
• 本手法は n および p の両方に対して効率的にスケーリングされ、実行時間は準立方的に増加するため、200万件を超える観測値と920個の共変数を有するデータセットに対しても実用的である。
• h_de = {(p + log n)/n}^{2/5} を用いたバンド幅選択は安定した性能を示し、有限標本ではオラクルベースのAMSE選択により推定精度がさらに向上した。