[논문 리뷰] Nonparametric Shape-restricted Regression

Adityanand Guntuboyina, Bodhisattva Sen|arXiv (Cornell University)|2017. 09. 17.

Statistical Methods and Inference참고 문헌 103인용 수 11

한 줄 요약

이 논문은 비모수적 형태제약 회귀에서 최소제곱추정량(LSE)에 대한 종합적인 이론적 분석을 제시한다. 등온성, 볼록성, 추가 모델을 포함한다. 적응형 위험 경계를 확립하고, LSE의 점별 점근적 분포를 도출하여, 내포 과정을 통해 채르노프 유형의 분포로 수렴함을 보이며, 형태 제약 조건 하에서 타당한 신뢰구간을 가능하게 한다.

ABSTRACT

We consider the problem of nonparametric regression under shape constraints. The main examples include isotonic regression (with respect to any partial order), unimodal/convex regression, additive shape-restricted regression, and constrained single index model. We review some of the theoretical properties of the least squares estimator (LSE) in these problems, emphasizing on the adaptive nature of the LSE. In particular, we study the behavior of the risk of the LSE, and its pointwise limiting distribution theory, with special emphasis to isotonic regression. We survey various methods for constructing pointwise confidence intervals around these shape-restricted functions. We also briefly discuss the computation of the LSE and indicate some open research problems and future directions.

연구 동기 및 목표

• 형태 제약 조건(단조성, 볼록성 등) 하에서 비모수적 형태제약 회귀에서 최소제곱추정량(LSE)의 이론적 성질을 연구하기 위해.
• 진짜 회귀 함수의 본질적 매끄러움을 반영하는 LSE에 대한 적응형 위험 경계를 확립하기 위해.
• 특히 등온성 회귀에서, 내포 과정과 브라운 운동 근사법을 사용하여 LSE의 점별 점근적 분포를 유도하기 위해.
• 형태 제약 조건 하에서 타당한 점별 신뢰구간을 구성하기 위한 방법을 개발하기 위해.
• 계산 및 추론 측면에서 형태제약 모델에 대한 개방 문제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 형태 제약 조건(예: 등온성 또는 볼록 함수)을 나타내는 닫힌 볼록 코너에 관측된 반응 벡터를 투영하는 방식으로 회귀 문제를 설정한다.
• 진짜 함수 근처에서 LSE의 행동을 분석하기 위해 제약 집합의 탄젠트 코너와 국소 기하학을 사용한다.
• 국소화된 확률과정의 약한 수렴을 연구하기 위해 경험과정 이론과 헝가리 임bedding 정리를 적용한다.
• 특히 점의 주변에서의 두 번째 및 세 번째 도함수를 통해 LSE의 점근적 분포를 특징짓는 데 내포 과정('invelope' process)의 개념을 도입한다.
• 고정된 점 주변의 이웃을 $ n^{-1/5} $로 스케일링하는 국소화 기법에 의존하여, 브라운 운동을 포함하는 점근적 과정으로 수렴 가능하게 한다.
• 가우시안 과정의 내포를 통해 LSE의 점근적 분포를 도출하며, 이는 등온성 경우에 '채르노프의 분포'로 알려진 비정규, 비.i.i.d. 극한으로 이어진다.

실험 결과

연구 질문

• RQ1 형태 제약 조건 하에서 진짜 회귀 함수의 매끄러움에 따라 LSE의 위험은 어떻게 적응하는가?
• RQ2 등온성 및 볼록 회귀에서 LSE의 점별 점근적 분포는 무엇이며, 전통적인 점근적 정규성과 어떻게 다를까?
• RQ3 LSE의 점근적 분포를 이용해 형태 제약 조건이 있는 함수 추정치에 대해 타당한 점별 신뢰구간을 구성할 수 있는가?
• RQ4 제약 집합의 국소 기하학(예: 탄젠트 코너)은 LSE의 점근적 행동에 어떻게 영향을 미치는가?
• RQ5 고차원 또는 복잡한 형태제약 모델로의 계산 및 추론을 확장하는 데 있어 핵심 과제와 개방 문제들은 무엇인가?

주요 결과

• LSE는 진짜 함수의 국소 매끄러움에 따라 적응형 위험 경계를 확보하며, 함수가 조각별 상수 또는 선형인 경우 기존 비모수적 속도를 초월한다.
• 등온성 회귀에서 LSE의 점별 점근적 분포는 내포 과정의 두 번째 도함수로 약한 수렴을 보이며, 이는 비정규 극한으로 알려진 채르노프의 분포이다.
• 이 극한 과정은 이격된 브라운 운동의 내포로 특징지어지며, 내포는 극한에서 형태 제약 조건을 유지함을 보장한다.
• 영점에서의 극한 과정의 두 번째 도함수인 $ ilde{bH}_{n}^{loc}''(0) $ 는 LSE의 점근적 분포에 해당하며, $ bH''(0) $, 즉 내포의 두 번째 도함수로 수렴한다.
• 국소화된 과정 $ ilde{bH}_{n}^{loc} $ 이 연속 함수의 컴acts 구간에서의 공간에서 약한 수렴을 통해 내포 $ bH $ 로 수렴함이 입증된다.
• 이 방법을 통해 LSE의 점근적 분포를 역으로 적용함으로써 형태 제약 조건이 있는 함수에 대한 타당한 점별 신뢰구간을 구성할 수 있다.