[논문 리뷰] Asymptotics for penalized spline estimators in quantile regression

Takuma Yoshida|arXiv (Cornell University)|2012. 09. 06.

Statistical Methods and Inference참고 문헌 8인용 수 3

한 줄 요약

이 논문은 저랭크 B-spline 모델과 차분 페널티를 사용한 분위수 회귀에서 페널티가 부가된 스플라인 추정기의 점근적 정규성을 확립한다. 모델 편향과 페널티에 의한 편향을 분석함으로써 점근적 분포를 도출하며, 규칙성 조건 하에서 추정기가 정규 분포로 수렴함을 보이며, 편향 항의 수렴 속도는 $ O(n^{-(p+1)/(2p+3)}) $이다.

ABSTRACT

Quantile regression predicts the $τ$-quantile of the conditional distribution of a response variable given the explanatory variable for $τ\in(0,1)$. The aim of this paper is to establish the asymptotic distribution of the quantile estimator obtained by penalized spline method. A simulation and an exploration of real data are performed to validate our results.

연구 동기 및 목표

• 페널티가 부가된 스플라인 추정기의 점근적 분포를 확립하여 이론적 이해의 격차를 메운다.
• B-spline 근사에 기인한 모델 편향과 차분 페널티에 의한 페널티 유도 편향이라는 두 가지 편향 원인을 분석하고 정량화한다.
• 설계와 오차 구조에 대한 규칙성 조건 하에서 페널티가 부가된 스플라인 분위수 추정기의 점근적 정규성을 도출한다.
• 시뮬레이션과 실제 데이터 분석을 통해 이론적 결과를 검증하여 실용적 적용 가능성을 입증한다.
• 스무딩 스플라인에 비해 계산적으로 효율적인 대안을 제공하며, 비슷한 부드러움과 이상치에 대한 강건성을 확보한다.

제안 방법

• 조건부 분위수 함수 $ \eta_\tau(x) $ 를 근사하기 위해 저랭크 B-spline 기저 전개를 사용하며, $ p $차 B-spline 기저 함수 $ B_k^{[p]}(x) $ 를 사용한다.
• 페널티가 부가된 스플라인 추정기를, 체크 함수 $ \rho_\tau $ 와 두 번째 차수 차분 행렬 $ D_m $ 을 포함한 차분 페널티 항을 결합한 볼록 손실 함수의 최소화자로 정의한다.
• 추정기를 효율적으로 계산하기 위해 페널티가 부가된 반복 가중 최소제곱법(PIRLS)을 적용한다.
• 스토케스틱 항 $ U_{1n}(\boldsymbol{\delta}) $, 경험 과정 항 $ U_{2n}(\boldsymbol{\delta}) $, 페널티 항 $ U_{3n}(\boldsymbol{\delta}) $ 의 공동 행동을 분석함으로써 점근적 분포를 도출한다.
• 점근적 정규성을 입증하기 위해 $ \sqrt{n/K_n} \{ \hat{\mathbf{b}}(\tau) - \mathbf{b}^*(\tau) \} $ 의 극한 분포가 평균 0이고 $ G(\tau) $ 와 페널티 행렬에 의존하는 정규 분포로 수렴함을 보인다.
• B-spline 도함수의 성질과 계수 벡터 $ \mathbf{b}^*(\tau) $ 의 점근적 행동을 이용하여 편향 항 $ b^\lambda_\tau(x) $ 의 주요 크기(order of magnitude)를 유도한다.

실험 결과

연구 질문

• RQ1 B-spline 기저와 차분 페널티를 사용한 분위수 회귀에서 페널티가 부가된 스플라인 추정기의 점근적 분포는 무엇인가?
• RQ2 B-spline 근사에 기인한 모델 편향과 차분 페널티에 의한 페널티 유도 편향은 추정기의 전체 점근적 편향에 어떻게 기여하는가?
• RQ3 편향 항 $ b^\lambda_\tau(x) $ 의 수렴 속도는 무엇이며, 표본 크기 $ n $, 균형점 수 $ K_n $, 스플라인 차수 $ p $ 와 어떻게 관련되는가?
• RQ4 어떤 조건에서 페널티가 부가된 스플라인 분위수 추정기가 점근적 정규성을 확보하는가?
• RQ5 유한 표본에서 제안된 방법은 기존 비모수적 분위수 회귀 방법과 비교해 편향과 분산 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 페널티가 부가된 스플라인 분위수 추정기는 점근적으로 정규분포를 따르며, $ \sqrt{n/K_n} \{ \hat{\eta}_\tau(x) - \eta^*_\tau(x) - b^\lambda_\tau(x) \} \stackrel{D}{\to} N(0, \Phi_\tau(x)) $ 이며, 여기서 $ \Phi_\tau(x) = O(1) $ 이다.
• 페널티 항에 기인한 점근적 편향 $ b^\lambda_\tau(x) $ 는 $ O(n^{-(p+1)/(2p+3)}) $ 의 주요 크기를 가지며, 이는 스플라인 차수 $ p $ 와 표본 크기 $ n $ 에 따라 달라진다.
• 추정기의 수렴 속도는 $ O(n^{-(p+1)/(2p+3)}) $ 이며, 규칙성 조건 하에서 비모수적 분위수 회귀의 최적 수렴 속도와 일치한다.
• B-spline 근사에 기인한 편향은 $ O(K_n^{-(p+1)}) $ 의 주요 크기를 가지며, 페널티 유도 편향은 $ O(\lambda_n n^{-1} K_n^{1-m}) $ 의 주요 크기를 가지며, 여기서 $ m = 2 $ 이다.
• 추정기의 점근적 분산은 $ \tau(1-\tau) $ 에 비례하며, 이는 분위수 회귀에서 체크 함수의 알려진 분산과 일치한다.
• 이론적 결과는 시뮬레이션과 실제 데이터 분석을 통해 지지되며, 제안된 방법의 타당성과 실용성을 확인한다.