[논문 리뷰] High-Dimensional Quantile Regression: Convolution Smoothing and Concave Regularization

Kean Ming Tan, Lan Wang외 1명|arXiv (Cornell University)|2021. 09. 12.

Statistical Methods and Inference참고 문헌 10인용 수 5

한 줄 요약

이 논문은 표준 분위수 손실의 비연속성과 강한 볼록성 부족 문제를 극복하기 위해 반복적으로 재가중된 $\varepsilon$-벌점 부여 $\ell_1$-정규화를 갖는 컨volution-스무쓰드 분위수 회귀를 제안한다. 이 방법은 거의 必要하고 충분한 최소 신호 강도 조건 하에서 최적 수렴 속도와 강한 오라클 성질을 달성하며, 고차원 설정에서 일관된 변수 선택과 효율적인 추정을 가능하게 한다.

ABSTRACT

$\ell_1$-penalized quantile regression is widely used for analyzing high-dimensional data with heterogeneity. It is now recognized that the $\ell_1$-penalty introduces non-negligible estimation bias, while a proper use of concave regularization may lead to estimators with refined convergence rates and oracle properties as the signal strengthens. Although folded concave penalized $M$-estimation with strongly convex loss functions have been well studied, the extant literature on quantile regression is relatively silent. The main difficulty is that the quantile loss is piecewise linear: it is non-smooth and has curvature concentrated at a single point. To overcome the lack of smoothness and strong convexity, we propose and study a convolution-type smoothed quantile regression with iteratively reweighted $\ell_1$-regularization. The resulting smoothed empirical loss is twice continuously differentiable and (provably) locally strongly convex with high probability. We show that the iteratively reweighted $\ell_1$-penalized smoothed quantile regression estimator, after a few iterations, achieves the optimal rate of convergence, and moreover, the oracle rate and the strong oracle property under an almost necessary and sufficient minimum signal strength condition. Extensive numerical studies corroborate our theoretical results.

연구 동기 및 목표

• 분위수 회귀 손실의 비연속성과 강한 볼록성 부족 문제를 해결하여 이론적 분석과 추정 효율성을 향상시키는 것.
• 컨volution 스무딩과 반복적으로 재가중된 $\ell_1$-정규화를 융합한 방법을 개발하여 강한 볼록성과 향상된 추정 성능를 확보하는 것.
• 볼록 페널티를 갖는 고차원 분위수 회귀에 대해 이론적 보장을 수립하는 것—특히 최적 수렴 속도와 강한 오라클 성질.
• 오라클 추정량이 달성 가능한 데 필요한 거의 必要하고 충분한 최소 신호 강도 조건을 도출하는 것.

제안 방법

• 조각별 선형 분위수 손실 함수의 컨volution 유형 스무딩을 도입하여 이중 연속 미분 가능한 경험적 손실을 생성한다.
• 비선형 페널티를 근사하기 위해 반복적으로 재가중된 $\ell_1$-정규화를 적용하여 표준 $\ell_1$-벌점에 비해 추정 편향을 감소시킨다.
• 스무든 손실이 고확률적으로 국소적으로 강하게 볼록하다는 것을 증명하여 안정적인 최적화를 가능하게 한다.
• 바하두르 표현을 사용하여 오라클 추정량의 점근적 행동을 분석하고 수렴 속도를 도출한다.
• 지역 선형 근사 프레임워크를 적용하여 적절한 신호 강도 하에서 스무든 추정량과 오라클 해를 연결한다.
• 집중 불등식과 행렬 노름 경계를 활용하여 추정 오차를 통제하고 변수 선택의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 컨volution 스무딩이 비연속 분위수 손실을 고차원 추론에 적합한 강하게 볼록하고 미분 가능한 함수로 변환할 수 있는가?
• RQ2 스무든 손실을 갖는 반복적으로 재가중된 $\ell_1$-정규화가 고차원 분위수 회귀에서 오라클 성질을 달성하는가?
• RQ3 추정량이 진짜 활성 집합을 회복하고 최적 수렴 속도를 달성하기 위해 필요한 최소 신호 강도 조건은 무엇인가?
• RQ4 표준 $\ell_1$-벌점 부여 분위수 회귀에 비해 스무든 추정량은 편향과 추정 효율성 측면에서 어떻게 비교되는가?
• RQ5 스무든 추정량이 최적 수렴 속도와 강한 오라클 성질을 달성하는 조건은 무엇인가?

주요 결과

• 스무든 경험적 손실은 이중 연속 미분 가능하며 고확률적으로 국소적으로 강하게 볼록하여 안정적인 최적화를 가능하게 한다.
• 반복적으로 재가중된 $\ell_1$-벌점 부여 스무든 분위수 회귀 추정량은 몇 차례 반복 후 최적 수렴 속도를 달성한다.
• 최소 신호 강도 조건 하에서 추정량은 거의 必要하고 충분한 조건에서 강한 오라클 성질을 달성한다.
• 파라미터 추정량의 수렴 속도는 $O_p(\sqrt{s \log p / n})$이며, 전통적인 희박 추정에서의 최적 속도와 일치한다.
• 최소 비영계수 계수 $\|\bm{\beta}^*_{\mathcal{S}}\|_{\min} \gtrsim \sqrt{s \log p / n}$ 를 만족할 경우, 추정량은 고확률적으로 진짜 활성 집합을 일관되게 선택한다.
• 수치적 연구 결과는 이론적 발견을 확인하며, 표준 $\ell_1$-벌점 부여 QR에 비해 향상된 변수 선택과 추정 정확도를 보여준다.