[論文レビュー] Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores

Jelena Bradić, Mladen Kolar|arXiv (Cornell University)|Feb 20, 2017

Statistical Methods and Inference参考文献 34被引用数 16

ひとこと要約

本稿は、p ≫ n の下で、高次元分位数回帰における一様推論を可能にするデバイアス化フレームワークを開発する。高次元回帰ランクスコアと一様バーデュール表現を導入することで、最小限のスパarsity仮定のもとで、パラメトリック収束速度を達成し、漸近的に有効な信頼区間とコルモゴロフ＝スミルノフ検定を実現する。

ABSTRACT

Hypothesis tests in models whose dimension far exceeds the sample size can be formulated much like the classical studentized tests only after the initial bias of estimation is removed successfully. The theory of debiased estimators can be developed in the context of quantile regression models for a fixed quantile value. However, it is frequently desirable to formulate tests based on the quantile regression process, as this leads to more robust tests and more stable confidence sets. Additionally, inference in quantile regression requires estimation of the so called sparsity function, which depends on the unknown density of the error. In this paper we consider a debiasing approach for the uniform testing problem. We develop high-dimensional regression rank scores and show how to use them to estimate the sparsity function, as well as how to adapt them for inference involving the quantile regression process. Furthermore, we develop a Kolmogorov-Smirnov test in a location-shift high-dimensional models and confidence sets that are uniformly valid for many quantile values. The main technical result are the development of a Bahadur representation of the debiasing estimator that is uniform over a range of quantiles and uniform convergence of the quantile process to the Brownian bridge process, which are of independent interest. Simulation studies illustrate finite sample properties of our procedure.

研究の動機と目的

• p ≫ n の下で、高次元分位数回帰における一様に有効な信頼区間および仮説検定を構築する課題に取り組む。
• 特に選択されない変数に対しても有効な推論を妨げる、罰則付き分位数回帰推定量のバイアスを克服する。
• スパarsity関数の推定に依存せず、異分散性および重い尾を持つ誤差分布に対してもロバストな手法を構築する。
• 単一の τ ではなく、連続的な分位数範囲にわたる推論を可能にし、安定性とロバスト性を向上させる。
• 分位数過程がブラウンブリッジに一様に収束することを確立する。これは技術的に重要な貢献であり、広範な応用を持つ。

提案手法

• 回帰ランクスコアから導かれる補正項を用いた、高次元分位数回帰推定量のデバイアス化手順を提案する。
• 密度推定を要せず、スパarsity関数 1/f(F⁻¹(τ)) の一貫した推定量としての高次元回帰ランクスコアを導入する。
• 分位数 τ ∈ T の範囲にわたって一様に成り立つ、デバイアス化推定量の一様バーデュール表現を開発する。
• 分位数過程に基づくコルモゴロフ＝スミルノフ検定統計量を構築し、ブラウンブリッジへの一様収束を活用する。
• デバイアス化推定量を用いて、全分位数回帰直線の信頼帯を構築し、τ にわたる一様なカバレッジを保証する。
• 線形関数形の回帰係数に対する推論を可能にするために、デバイアス化技術を応用する。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n の下で、分位数 τ ∈ T の範囲にわたる高次元分位数回帰係数の、一様に有効な信頼集合を構築できるか？
• RQ2 罰則付き分位数回帰推定量の漸近的バイアスをどのように除去すれば、選択されたおよび非選択された変数の両方に対して有効な推論が可能になるか？
• RQ3 τ にわたる一様性を満たす条件下で、デバイアス化推定量の収束速度は何か？ また、パラメトリックな √n 速度を達成するか？
• RQ4 未知の誤差密度に対してロバストな、高次元位置シフトモデルのコルモゴロフ＝スミルノフ検定をどのように開発できるか？
• RQ5 線形仮説における重みベクトルの性質は、検定統計量の収束速度にどのように影響するか？

主な発見

• 提案されたデバイアス化推定量は、分位数 τ の範囲にわたって一様バーデュール表現を達成し、一様推論を可能にする。
• p ≫ n の高次元設定下でも、パラメトリックな √n 収束速度を達成し、推論に有効である。
• 回帰ランクスコアは、密度推定を要せず、スパarsity関数 1/f(F⁻¹(τ)) の一貫した推定量を提供する。
• 分位数過程はブラウンブリッジ過程に一様に収束する。これは技術的に重要な結果であり、独立した関心をもつ。
• シミュレーション研究では、信頼区間がほぼ名目水準のカバレッジ（例：等相関下で τ=0.3 の場合に 95.4%）を達成し、幅はほぼ最適に近い。
• コルモゴロフ＝スミルノフ検定は、異なる誤差分布（正規分布、t1）に対しても良好な検出力を持ち、τ ∈ [0.3, 0.6] の範囲で検出力曲線が安定している。