[論文レビュー] A General Framework for Robust Testing and Confidence Regions in High-Dimensional Quantile Regression

Tianqi Zhao, Mladen Kolar+1 more|arXiv (Cornell University)|Dec 30, 2014

Advanced Statistical Methods and Models参考文献 41被引用数 20

ひとこと要約

本稿では、重い裾のノイズ下でも有効な信頼区間や仮説検定を可能にする、高次元分位数回帰のロバストな推論フレームワークを提案する。デバイアス化と複合分位数損失関数を組み合わせることで、有限の一次または二次モーメントを必要とせず、漸近正規性を達成し、二乗損失に基づく手法と比較して少なくとも70%の相対効率を維持し、弱い設計仮定のもとでも有効である。

ABSTRACT

We propose a robust inferential procedure for assessing uncertainties of parameter estimation in high-dimensional linear models, where the dimension $p$ can grow exponentially fast with the sample size $n$. Our method combines the de-biasing technique with the composite quantile function to construct an estimator that is asymptotically normal. Hence it can be used to construct valid confidence intervals and conduct hypothesis tests. Our estimator is robust and does not require the existence of first or second moment of the noise distribution. It also preserves efficiency in the sense that the worst case efficiency loss is less than 30\% compared to the square-loss-based de-biased Lasso estimator. In many cases our estimator is close to or better than the latter, especially when the noise is heavy-tailed. Our de-biasing procedure does not require solving the $L_1$-penalized composite quantile regression. Instead, it allows for any first-stage estimator with desired convergence rate and empirical sparsity. The paper also provides new proof techniques for developing theoretical guarantees of inferential procedures with non-smooth loss functions. To establish the main results, we exploit the local curvature of the conditional expectation of composite quantile loss and apply empirical process theories to control the difference between empirical quantities and their conditional expectations. Our results are established under weaker assumptions compared to existing work on inference for high-dimensional quantile regression. Furthermore, we consider a high-dimensional simultaneous test for the regression parameters by applying the Gaussian approximation and multiplier bootstrap theories. We also study distributed learning and exploit the divide-and-conquer estimator to reduce computation complexity when the sample size is massive. Finally, we provide empirical results to verify the theory.

研究の動機と目的

• ノイズ分布が重い裾を持ち、有限モーメントを有さない場合の高次元線形モデルにおけるロバストな推論手法の不足に対処する。
• 弱いモーメントおよび設計仮定のもとでも、有効性と妥当性を維持する一般的な推論フレームワークを開発する。
• ガウス分布やサブガウス分布の仮定に依存せずに、高次元回帰パラメータの信頼区間や仮説検定を構築できるようにする。
• 任意の一次段階のスパース推定器および任意の一貫した分位数推定値と組み合わせて使用可能な柔軟なアプローチを提供し、実用的応用性を高める。
• 計算複雑性を低減するため、大規模データセットに適した分散学習環境への拡張を可能にする。

提案手法

• 複合分位数損失関数の部分勾配に基づく1ステップ更新を用いて、一次段階のスパース推定器（例：Lasso、分位数回帰）に対してデバイアス化手順を適用する。
• 重い裾の誤差分布下でもロバスト性と効率性を向上させるために、複合分位数損失関数を用いる。
• 一次または二次モーメントが存在しない場合を含む、弱いモーメント条件下でもデバイアス化推定量の漸近正規性を確立する。
• 経験過程理論を活用し、複合分位数損失関数の局所的曲率解析によって、経験的期待値と条件付き期待値の差を制御する。
• ガウス近似およびマルチプライヤーブートストラップ技術を用いて、高次元同時仮説検定を実行する。
• 分割統合戦略を統合し、大規模なサンプルサイズにおけるスケーラブルな分散推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 誤差分布が重い裾を持ち、有限モーメントを有さない場合でも、高次元線形モデルにおいて有効な信頼区間や仮説検定を構築できるか？
• RQ2 重い裾のノイズ下でもロバスト性を保ちながら、高い統計的効率性を維持するにはどうすればよいか？
• RQ3 デバイアス化推定量の漸近正規性を保証するために、設計行列および誤差分布に必要な最小限の仮定は何か？
• RQ4 デバイアス化フレームワークは、任意の一次段階のスパース推定器および任意の一貫した分位数推定値と組み合わせて一般化可能か？
• RQ5 計算複雑性を低減するため、大規模データ向けに分散コンピューティング環境にこの手法を拡張できるか？

主な発見

• 提案されたデバイアス化推定量は、一次または二次モーメントが存在しない場合を含む弱いモーメント条件下でも、漸近正規性を示す。
• 最悪ケースにおいて、二乗損失に基づくデバイアス化Lassoと比較して少なくとも70%の相対効率を達成し、ガウスノイズ下では95%に近づく。
• 二乗損失に基づくデバイアス化Lassoとの最悪ケース効率損失は30%未満であり、重い裾のノイズ下では著しくそれを上回る性能を示す。
• 設計の精度行列に対するスパarsity仮定を必要とせず、既存の高次元推論手法で一般的に用いられる仮定を緩和する。
• ガウス近似およびマルチプライヤーブートストラップを用いて、理論的保証のもとで高次元パラメータの同時検定を有効に可能にする。
• 分割統合拡張により、大規模データセットにおけるスケーラブルな推論が可能となり、理論的妥当性と計算効率を両立する。