[논문 리뷰] A General Framework for Robust Testing and Confidence Regions in High-Dimensional Quantile Regression

Tianqi Zhao, Mladen Kolar외 1명|arXiv (Cornell University)|2014. 12. 30.

Advanced Statistical Methods and Models참고 문헌 41인용 수 20

한 줄 요약

이 논문은 무거운 尾를 가진 잡음 조건에서도 유효한 신뢰구간과 가설검정을 가능하게 하는 고차원 분위수 회귀를 위한 강건한 추론 프레임워크를 제안한다. 탈편향화와 복합 분위수 손실 함수를 조합함으로써, 유한한 일차 또는 이차 모멘트가 필요 없이 渐近 정규성을 확보하며, 제곱손실 기반 방법과 비교해 최소 70%의 상대적 효율성을 유지하고, 약한 설계 가정 하에서도 성립한다.

ABSTRACT

We propose a robust inferential procedure for assessing uncertainties of parameter estimation in high-dimensional linear models, where the dimension $p$ can grow exponentially fast with the sample size $n$. Our method combines the de-biasing technique with the composite quantile function to construct an estimator that is asymptotically normal. Hence it can be used to construct valid confidence intervals and conduct hypothesis tests. Our estimator is robust and does not require the existence of first or second moment of the noise distribution. It also preserves efficiency in the sense that the worst case efficiency loss is less than 30\% compared to the square-loss-based de-biased Lasso estimator. In many cases our estimator is close to or better than the latter, especially when the noise is heavy-tailed. Our de-biasing procedure does not require solving the $L_1$-penalized composite quantile regression. Instead, it allows for any first-stage estimator with desired convergence rate and empirical sparsity. The paper also provides new proof techniques for developing theoretical guarantees of inferential procedures with non-smooth loss functions. To establish the main results, we exploit the local curvature of the conditional expectation of composite quantile loss and apply empirical process theories to control the difference between empirical quantities and their conditional expectations. Our results are established under weaker assumptions compared to existing work on inference for high-dimensional quantile regression. Furthermore, we consider a high-dimensional simultaneous test for the regression parameters by applying the Gaussian approximation and multiplier bootstrap theories. We also study distributed learning and exploit the divide-and-conquer estimator to reduce computation complexity when the sample size is massive. Finally, we provide empirical results to verify the theory.

연구 동기 및 목표

• 일차 또는 이차 모멘트가 존재하지 않을 수 있는 중량 있는 잡음 분포를 가진 고차원 선형 모델에 대해 강건한 추론 방법의 부족을 해결한다.
• 유한한 모멘트나 설계 가정이 약한 조건에서도 유효성과 효율성을 유지하는 일반적인 추론 프레임워크를 개발한다.
• 정규 또는 하위정규 잡음 가정에 의존하지 않고 고차원 회귀 계수에 대한 신뢰구간과 가설검정을 구축할 수 있도록 한다.
• 모든 첫 번째 단계의 희소 추정기와 일관된 분위수 추정치와 함께 작동할 수 있는 탄력적인 접근을 제공하여 실용적 적용성을 높인다.
• 계산 복잡도를 줄이기 위해 대규모 데이터 세트에 적합한 분산 학습 환경으로의 확장을 도모한다.

제안 방법

• 복합 분위수 손실 함수의 서브기울기 기반 일단계 업데이트를 사용해, 첫 번째 단계의 희소 추정기(예: Lasso, 분위수 회귀)에 탈편향화 절차를 적용한다.
• 특히 중량 있는 오차 분포 하에서 강건성과 효율성을 향상시키기 위해 복합 분위수 손실 함수를 사용한다.
• 일차 또는 이차 모멘트가 존재하지 않는 경우를 포함한 약한 모멘트 조건 하에서 탈편향 추정기의 渐近 정규성을 확립한다.
• 복합 분위수 손실의 국소 곡률 분석을 통해 경험적 기대와 조건부 기대의 차이를 제어하고, 경험 과정 이론을 활용한다.
• 고차원 동시 가설검정을 수행하기 위해 가우시안 근사 및 승수 부트스트랩 기법을 적용한다.
• 분할-통합 전략을 통합하여 거대한 표본 크기에서의 확장 가능한 분산 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 오차 분포가 중량 있는 잡음이면서 유한한 모멘트가 존재하지 않을 경우, 고차원 선형 모델에서 유효한 신뢰구간과 가설검정을 구축할 수 있는가?
• RQ2 중량 있는 잡음 하에서도 강건성을 확보하면서 높은 통계적 효율성을 유지하는 방법은 무엇인가?
• RQ3 탈편향 추정기의 渐近 정규성을 보장하기 위해 설계 행렬과 오차 분포에 필요한 최소한의 가정은 무엇인가?
• RQ4 탈편향 프레임워크는 모든 첫 번째 단계의 희소 추정기와 일관된 분위수 추정치와 함께 일반화될 수 있는가?
• RQ5 계산 복잡도를 줄이기 위해 대규모 데이터를 위한 분산 컴퓨팅 환경으로 이 방법을 어떻게 확장할 수 있는가?

주요 결과

• 제안된 탈편향 추정기는 오차 분포의 일차 또는 이차 모멘트가 존재하지 않는 경우에도 약한 모멘트 조건 하에서 渐近 정규성을 확보한다.
• 가장 열악한 경우에서 제곱손실 기반 탈편향 Lasso와 비교해 최소 70%의 상대적 효율성을 확보하며, 정규 오차 하에서는 효율성이 약 95%에 수렴한다.
• 제곱손실 기반 탈편향 Lasso와 비교해 최악의 효율 손실은 30% 미만이며, 중량 있는 잡음 하에서는 이보다 뚜렷하게 뛰어난 성능을 보인다.
• 설계 행렬의 정밀행렬에 대한 희소성 가정이 필요 없어, 기존 고차원 추론 방법에서 흔히 요구되는 가정을 완화한다.
• 가우시안 근사 및 승수 부트스트랩을 활용해 고차원 계수의 유효한 동시 가설검정을 가능하게 하며, 이론적 보장을 제공한다.
• 분할-통합 확장은 이론적 타당성과 계산 효율성을 유지하면서 거대한 데이터 세트에서의 확장 가능한 추론을 가능하게 한다.