[논문 리뷰] Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores

Jelena Bradić, Mladen Kolar|arXiv (Cornell University)|2017. 02. 20.

Statistical Methods and Inference참고 문헌 34인용 수 16

한 줄 요약

이 논문은 고차원 분位수 회귀에서 다양한 분위수 범위에 걸쳐 균일한 추론을 가능하게 하는 탈편향 프레임워크를 개발한다. 고차원 회귀 순위 점수와 균일한 바하두르 표현을 도입함으로써, 희박성 가정이 최소한일지라도 p ≫ n 인 경우에도 파arametric 수렴 속도를 갖는 점근적으로 타당한 신뢰구간과 콜모고로프-스미르노프 검정을 실현한다.

ABSTRACT

Hypothesis tests in models whose dimension far exceeds the sample size can be formulated much like the classical studentized tests only after the initial bias of estimation is removed successfully. The theory of debiased estimators can be developed in the context of quantile regression models for a fixed quantile value. However, it is frequently desirable to formulate tests based on the quantile regression process, as this leads to more robust tests and more stable confidence sets. Additionally, inference in quantile regression requires estimation of the so called sparsity function, which depends on the unknown density of the error. In this paper we consider a debiasing approach for the uniform testing problem. We develop high-dimensional regression rank scores and show how to use them to estimate the sparsity function, as well as how to adapt them for inference involving the quantile regression process. Furthermore, we develop a Kolmogorov-Smirnov test in a location-shift high-dimensional models and confidence sets that are uniformly valid for many quantile values. The main technical result are the development of a Bahadur representation of the debiasing estimator that is uniform over a range of quantiles and uniform convergence of the quantile process to the Brownian bridge process, which are of independent interest. Simulation studies illustrate finite sample properties of our procedure.

연구 동기 및 목표

• p ≫ n 인 고차원 분위수 회귀에서 균일하게 타당한 신뢰구간과 가설검정을 구성하는 문제에 대응한다.
• 선택되지 않은 변수에 대해서도 타당한 추론을 방해하는 정규화된 분위수 회귀 추정량의 편향을 제거한다.
• 희박성 함수 추정에 의존하지 않고 이질분산성과 무거운 尾部 오차 분포에 강건한 방법을 개발한다.
• 단일 τ 가 아닌 연속적인 분위수 범위에서 추론을 가능하게 하여 안정성과 강건성을 향상시킨다.
• 분위수 과정이 브라운 운동 브리지로 균일 수렴하는 것을 확립한다. 이는 주요 기술적 기여이며 더 넓은 함의를 지닌다.

제안 방법

• 회귀 순위 점수로부터 유도된 보정 항을 사용한 고차원 분위수 회귀 추정량의 탈편향 절차를 제안한다.
• 밀도 추정이 필요 없이 희박성 함수 1/f(F⁻¹(τ))의 일致한 추정량으로서 고차원 회귀 순위 점수를 도입한다.
• 범위 τ ∈ T 내에서 균일하게 성립하는 탈편향 추정량의 균일한 바하두르 표현을 개발한다.
• 분위수 과정을 기반으로 한 콜모고로프-스미르노프 검정 통계량을 구성하며, 브라운 운동 브리지로의 균일 수렴을 활용한다.
• 탈편향 추정량을 사용하여 전체 분위수 회귀선에 대한 균일한 커버리지가 보장되는 신뢰구간을 구성한다.
• 선형 함수형 추정량에 탈편향 기법을 적용하여 동시에 여러 매개변수에 대한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 p ≫ n 인 상황에서도 분위수 τ ∈ T 전역에 걸쳐 고차원 분위수 회귀 계수에 대해 균일하게 타당한 신뢰집합을 구성할 수 있는가?
• RQ2 정규화된 분위수 회귀 추정량의 점근적 편향을 어떻게 제거할 수 있으며, 이는 선택된 변수뿐 아니라 비선택된 변수에 대해서도 타당한 추론을 가능하게 하는가?
• RQ3 τ 전역에서 균일성을 확보할 경우 탈편향 추정량의 수렴 속도는 어떻게 되며, 파라미터 기반의 √n 속도를 달성하는가?
• RQ4 모르는 오차 밀도에 강건한 고차원 위치이동 모델을 위한 콜모고로프-스미르노프 검정을 개발할 수 있는가?
• RQ5 선형 가설에서의 로딩 벡터 성질은 검정 통계량의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 탈편향 추정량은 분위수 τ 전역에서 균일한 바하두르 표현을 달성하여 균일한 추론을 가능하게 한다.
• p ≫ n 인 고차원 설정에서도 파rametric √n 수렴 속도를 확보하여 추론에 성공한다.
• 회귀 순위 점수는 밀도 추정이 필요 없이 희박성 함수 1/f(F⁻¹(τ))의 일치한 추정량을 제공한다.
• 분위수 과정은 브라운 운동 브리지 과정으로 균일 수렴하며, 이는 주요 기술적 결과로서 독립적인 관심을 끌 만하다.
• 시뮬레이션 연구 결과, 신뢰구간은 근사적으로 명목 수준의 커버리지(예: 등상관관계 하에서 τ=0.3일 때 95.4%)를 달성하며, 너비는 최적에 가깝다.
• 콜모고로프-스미르노프 검정은 다양한 오차 분포(Gaussian, t1)에서 양호한 검정력을 유지하며, τ ∈ [0.3, 0.6] 범위에서 검정력 곡선이 안정하다.