[논문 리뷰] Quantile Processes for Semi and Nonparametric Regression

Shih-Kang Chao, Stanislav Volgushev외 1명|arXiv (Cornell University)|2016. 04. 07.

Statistical Methods and Inference참고 문헌 31인용 수 3

한 줄 요약

이 논문은 일반적인 시리즈 근사 프레임워크에서 분위수 회귀 과정(QRP)의 약한 수렴을 확립하며, 증가하는 차원을 갖는 선형 모형, 비모수 모형, 부분 선형 모형을 포함한다. 주요 기여는 부분 선형 모형에서 파rametric 및 비모수 성분 간의 점근적 독립성과 잔차 항에 대한 지수 꼬리 경계를 갖는 정밀한 바하두르 표현이다. 이는 분할-통합 설정 하에서의 추론을 가능하게 한다.

ABSTRACT

A collection of quantile curves provides a complete picture of conditional distributions. Properly centered and scaled versions of estimated curves at various quantile levels give rise to the so-called quantile regression process (QRP). In this paper, we establish weak convergence of QRP in a general series approximation framework, which includes linear models with increasing dimension, nonparametric models and partial linear models. An interesting consequence is obtained in the last class of models, where parametric and non-parametric estimators are shown to be asymptotically independent. Applications of our general process convergence results include the construction of non-crossing quantile curves and the estimation of conditional distribution functions. As a result of independent interest, we obtain a series of Bahadur representations with exponential bounds for tail probabilities of all remainder terms. Bounds of this kind are potentially useful in analyzing statistical inference procedures under divide-and-conquer setup.

연구 동기 및 목표

• 반응 변수의 조건부 분위수를 시리즈 근사 프레임워크를 통해 추정하는 반응 모형에 대한 분위수 회귀 과정(QRP)의 약한 수렴을 확립하는 것.
• 차원이 증가하거나 서로 다른 수렴 속도를 갖는 모형(예: 부분 선형 모형)에서의 약한 수렴 문제를 다루는 것.
• 잔차 항에 대한 지수 꼬리 경계를 갖는 정밀한 바하두르 표현을 유도하여 분할-통합 기반의 강건한 추론을 가능하게 하는 것.
• 부분 선형 모형에서 파rametric 및 비모수 성분 간의 점근적 독립성을 입증하는 것.
• 비교적 교차하지 않는 분위수 곡선 추정 및 조건부 분포함수 추정과 같은 응용을 가능하게 하는 약한 수렴 결과를 제공하는 것.

제안 방법

• 기저 전개를 이용한 조건부 분위수의 일반적인 시리즈 추정 프레임워크를 개발하며, Z(x)⊤γn(τ)가 τ-분위수 Q(x; τ)를 근사한다.
• 설계, 오차, 기저 함수에 대한 정규 조건 하에서 기능적 델타 방법과 컴팩트 미분 가능성을 적용하여 QRP의 약한 수렴을 도출한다.
• 파라미터 및 비모수 추정량의 공동 약한 수렴을 증명함으로써 부분 선형 모형에서 QRP의 약한 수렴을 확립하며, 이들의 점근적 독립성을 보여준다.
• 잔차 항이 확률적으로 유계이면서 지수 꼬리 부등식을 이용한 정밀한 바하두르 표현을 유도한다.
• 커버링 수 추론 및 경험 과정 이론을 활용하여 엔트로피를 제어하고 분위수 과정의 점근적 타이트니스를 증명한다.
• 기능적 델타 방법을 분위수 과정에서 분포함수 및 분위수로의 사상에 적용하여 파생 통계량의 약한 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반적인 시리즈 근사 프레임워크에서 분위수 회귀 과정(QRP)이 수렴하는 조건은 무엇인가?
• RQ2 특히 공동 수렴 및 독립성 측면에서 부분 선형 모형에서 파라미터 및 비모수 성분은 점근적으로 어떻게 행동하는가?
• RQ3 시리즈 기반 분위수 회귀 추정량에 대해 정밀한 바하두르 표현과 지수 꼬리 경계를 도출할 수 있는가?
• RQ4 약한 수렴 결과는 비교적 교차하지 않는 분위수 곡선 추정 및 조건부 분포함수 추정에 어떤 영향을 미치는가?
• RQ5 바하두르 표현에서의 잔차 항은 어떻게 행동하며, 그 꼬리 성질은 무엇인가?

주요 결과

• 일반적인 시리즈 프레임워크에서 QRP는 증가하는 차원과 비모수 성분을 포함한 모형에서도 가우시안 과정으로 약하게 수렴한다.
• 부분 선형 모형에서 파라미터 및 비모수 추정량은 점근적으로 독립적이며, 이는 서로 다른 수렴 속도를 갖는 공동 약한 수렴에서 유도된 결과이다.
• 잔차 항이 지수 꼬리 경계를 만족하는 기본 바하두르 표현을 확립하였으며, 특히 P(|Rn| > x) ≤ C exp(−c x²) (c, C > 0)를 만족한다.
• 시리즈 추정량의 편향은 부분 선형 모형에서는 ecn = O(m−⌊η⌋/k′)로 유계이며, 단변량 스퍼라인 모형에서는 ecn = o(m−⌊η⌋)로 유계지며, 이는 부드러움 η와 차원 k′에 따라 달라진다.
• 비교적 교차하지 않는 분위수 곡선은 QRP의 약한 수렴을 통해 구성되며, 이는 분위수 수준 간의 확률적 순서를 보장한다.
• 기능적 델타 방법을 QRP에 적용하여 유도된 과정의 약한 수렴을 통해 조건부 분포함수를 일관되게 추정할 수 있다.