[논문 리뷰] Smoothed Quantile Regression with Large-Scale Inference

Xuming He, Xiaoou Pan외 2명|arXiv (Cornell University)|2020. 12. 09.

Statistical Methods and Inference참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비차별 가능한 분위수 손실을 컨볼루션 기반 스무딩을 통해 두 번 미분 가능한 볼록 대체 손실로 변환하는 CONQUER라는 스무딩된 분위수 회귀 방법을 제안한다. 이 방법은 바르지라이-보르웨인 경사하강법을 통해 빠르고 확장 가능한 최적화를 가능하게 하며, 승수 부트스트랩을 통해 대규모 추론을 유효하게 보장한다. 주요 기여는 전통적인 분위수 회귀보다 더 약한 조건 하에서 추정기의 점근적 정규성을 확립한 것이다.

ABSTRACT

Quantile regression is a powerful tool for learning the relationship between a response variable and a multivariate predictor while exploring heterogeneous effects. In this paper, we consider statistical inference for quantile regression with large-scale data in the "increasing dimension" regime. We provide a comprehensive and in-depth analysis of a convolution-type smoothing approach that achieves adequate approximation to computation and inference for quantile regression. This method, which we refer to as {\it{conquer}}, turns the non-differentiable quantile loss function into a twice-differentiable, convex and locally strongly convex surrogate, which admits a fast and scalable Barzilai-Borwein gradient-based algorithm to perform optimization, and multiplier bootstrap for statistical inference. Theoretically, we establish explicit non-asymptotic bounds on both estimation and Bahadur-Kiefer linearization errors, from which we show that the asymptotic normality of the conquer estimator holds under a weaker requirement on the number of the regressors than needed for conventional quantile regression. Moreover, we prove the validity of multiplier bootstrap confidence constructions. Our numerical studies confirm the conquer estimator as a practical and reliable approach to large-scale inference for quantile regression. Software implementing the methodology is available in the exttt{R} package exttt{conquer}.

연구 동기 및 목표

• 표본 크기 n과 차원 p가 모두 증가하는 고차원 및 대규모 데이터 설정에서 분위수 회귀의 계산 및 추론 과제를 해결한다.
• 대규모 데이터에서 효율적 최적화와 추론을 방해하는 분위수 손실 함수의 비차별성 문제를 해결한다.
• p ≍ n^a (a ∈ (0,1))인 '차원 증가' 설정에서 확장 가능하고 통계적으로 타당한 추론 방법을 개발한다.
• 점근적 정규성을 더 약한 정규성 조건 하에서 정당화하기 위해 추정 오차와 바하두르-키페르 선형화 오차에 대한 비점근적 경계를 도출한다.
• 승수 부트스트랩을 통한 유효한 신뢰구간을 제공하는 실용적이고 계산 효율적인 대규모 분위수 회귀 프레임워크를 제공한다.

제안 방법

• 분위수 회귀의 체크 함수에 컨볼루션 기반 스무딩을 적용하여, 두 번 미분 가능하고 볼록적이며 국소적으로 강하게 볼록한 대체 손실 함수를 생성한다.
• 가우시안 커널 스무딩을 사용하여 비차별 가능한 분위수 손실을 근사함으로써, 경사 기반 방법을 통한 스무딩 최적화를 가능하게 한다.
• 대규모 설정에서 스무딩된 손실 함수를 효율적으로 최적화하기 위해 빠르고 확장 가능한 바르지라이-보르웨인 경사하강 알고리즘을 구현한다.
• 스무딩된 추정기의 추정 오차와 바하두르-키페르 선형화 오차에 대한 명시적 비점근적 경계를 유도한다.
• 신뢰구간을 구성하기 위한 승수 부트스트랩 절차를 제안하고, 복잡한 설계와 오차 분포 하에서도 강건성을 보장한다.
• 대역폭 선택 전략을 통합하며, 오라클 기반 AMSE와 기본 선택 h_de = {(p + log n)/n}^{2/5}를 통해 편향과 분산의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 대규모 분위수 회귀에서 계산 효율성과 통계적 타당성을 동시에 확보하면서도, 최적화를 위한 빠른 스무딩된 손실 함수를 구성할 수 있는가?
• RQ2 회귀자 수가 표본 크기와 함께 증가할 때, 스무딩된 추정기가 어떤 조건 하에서 점근적 정규성을 확보하는가?
• RQ3 다양한 오차 분포 하에서, 승수 부트스트랩의 피복도와 구간 폭은 다른 리샘플링 방법과 비교해 어떻게 다른가?
• RQ4 고차원 분위수 회귀에서 대역폭 선택은 추정 정확도와 추론 신뢰성에 어떤 영향을 미치는가?
• RQ5 대규모 설정에서 제안된 방법의 계산 효율성은 표준 분위수 회귀 및 기타 스무딩 방법과 비교해 어떻게 다른가?

주요 결과

• CONQUER 추정기는 전통적인 분위수 회귀보다 더 약한 조건 하에서 점근적 정규성을 확보한다. 특히 p ≍ n^a (a < 1/2)일 때 성립한다.
• 추정 오차와 바하두르-키페르 선형화 오차에 대한 비점근적 경계가 확립되었으며, 이는 미약한 정규성 조건 하에서도 스무딩된 추정기가 균일하게 수렴함을 보여준다.
• CONQUER를 위한 승수 부트스트랩은 유효하게 증명되었으며, 다양한 오차 분포와 분위수 수준에서 실질적인 피복도가 명목 수준에 가까운 것으로 나타났다.
• 수치 실험 결과, CONQUER는 표준 QR과 유사하거나 더 높은 추정 정확도를 보였고, 특히 고차원 설정에서 훨씬 더 빠른 계산 속도를 기록했다.
• 이 방법은 n과 p 모두에 대해 효율적으로 스케일업되며, 런타임이 비세제곱 이하로 증가하여 200만 건 이상의 관측치와 920개의 공변량을 포함한 데이터셋에서도 적용 가능하다.
• h_de = {(p + log n)/n}^{2/5}를 통한 대역폭 선택은 안정적인 성능을 보였고, 오라클 기반 AMSE 선택은 유한 표본에서 추정 정확도를 추가로 향상시켰다.