[논문 리뷰] Large Sample Properties of Partitioning-Based Series Estimators

Matias D. Cattaneo, Max H. Farrell외 1명|arXiv (Cornell University)|2018. 04. 13.

Statistical Methods and Inference참고 문헌 58인용 수 9

한 줄 요약

이 논문은 비모수 회귀에서 분할 기반 시리즈 추정량의 대표본 성질을 수립하며, 일반적인 편향 특성화, 조정 파rameter 선택을 위한 통합 평균제곱오차(IMSE) 전개, 그리고 과소스무딩과 강건한 편향 보정을 통한 균일 추론 방법을 제공한다. 특히 단변량 경우에서 균일 분포 근사에 대해 향상된 수렴 속도와 최소한의 속도 제약 조건을 달성하며, 스플라인, 웨이브릿, 조각별 다항식에 응용된다.

ABSTRACT

We present large sample results for partitioning-based least squares nonparametric regression, a popular method for approximating conditional expectation functions in statistics, econometrics, and machine learning. First, we obtain a general characterization of their leading asymptotic bias. Second, we establish integrated mean squared error approximations for the point estimator and propose feasible tuning parameter selection. Third, we develop pointwise inference methods based on undersmoothing and robust bias correction. Fourth, employing different coupling approaches, we develop uniform distributional approximations for the undersmoothed and robust bias-corrected t-statistic processes and construct valid confidence bands. In the univariate case, our uniform distributional approximations require seemingly minimal rate restrictions and improve on approximation rates known in the literature. Finally, we apply our general results to three partitioning-based estimators: splines, wavelets, and piecewise polynomials. The supplemental appendix includes several other general and example-specific technical and methodological results. A companion R package is provided.

연구 동기 및 목표

• 분할 기반 시리즈 추정량의 대표본 성질을 분석하기 위한 일반적 프레임워크를 개발하는 것.
• 조정 파ram터 선택 및 편향 보정에 활용할 수 있는 이러한 추정량의 주요 점근적 편향을 특성화하는 것.
• 최적의 조정 파aram터 선택을 안내하기 위해 통합 평균제곱오차(IMSE) 전개를 유도하는 것.
• 과소스무딩과 강건한 편향 보정을 이용한 점별 및 균일 추론 방법을 수립하는 것.
• 특히 단변량 경우에서 최소한의 속도 제약 조건으로 전체 공변수 공간 $ \bar{\bf X} $ 에서 균일 분포 근사가 가능하도록 하는 t-통계량 과정에 대한 균일 분포 근사 제공.

제안 방법

• 공변수 공간을 상호배타적이고 다각형 형태의 세포들로 분할하여, 분할 기반 시리즈 추정량에 대한 일반적인 점근적 편향 근사식을 유도한다.
• 분할의 조밀함 $ h $ 의 최적 선택을 안내하기 위해 통합 평균제곱오차(IMSE) 전개를 개발하며, $ h_{\text{IMSE}} \triangleq n^{-1/(2m+d)} $ 라고 나타낸다. 여기서 $ m $ 은 기저의 차수이다.
• IMSE 전개를 바탕으로 실용적인 조정 파aram터 선택 방법을 제안하여 최적의 수렴 속도를 확보한다.
• 과소스무딩과 강건한 편향 보정 기법을 적용하여 유효한 점별 및 균일 신뢰구간을 구성한다.
• 새로운 커플링 기법을 활용하여 t-통계량 과정에 대한 균일 분포 근사를 도출하며, 기존 문헌에 비해 향상된 수렴 속도를 달성한다.
• 일반적 프레임워크를 B-스플라인, 컴팩트 지지도 웨이브릿, 조각별 다항식의 세 가지 특정 추정량에 적용하며, 이론적 및 시뮬레이션 결과를 상세히 제시한다.

실험 결과

연구 질문

• RQ1 분할 기반 시리즈 추정량의 주요 점근적 편향의 일반적 형태는 무엇이며, 이를 편향 보정 및 조정 파aram터 선택에 어떻게 활용할 수 있는가?
• RQ2 이러한 추정량에 대한 통합 평균제곱오차(IMSE) 전개는 무엇이며, 최적의 조정 파aram터 선택을 어떻게 이끌어내는가?
• RQ3 과소스무딩과 강건한 편향 보정을 이용하여 비모수 회귀에서 t-통계량 과정에 대해 균일 추론를 어떻게 수행할 수 있는가?
• RQ4 t-통계량 과정에 대한 균일 분포 근사는 무엇이며, 유효성을 확보하기 위해 필요한 속도 제약 조건은 무엇인가?
• RQ5 일반적 결과는 스플라인, 웨이브릿, 조각별 다항식과 같은 특정 추정량에 어떻게 적용되는가?

주요 결과

• IMSE 최적의 분할 조밀함은 $ h_{\text{IMSE}} \triangleq n^{-1/(2m+d)} $ 이며, 전개에서 주요 상수의 정확한 특성화가 이루어졌다.
• 과소스무딩 및 강건한 편향 보정된 t-통계량 과정에 대한 균일 분포 근사는 기존 문헌에 비해 향상된 수렴 속도를 달성하였으며, 특히 단변량 경우에서 두드러진다.
• d=1 인 경우, 새로운 커플링 접근법 덕분에 균일 근사에 대해 보이기 쉬운 최소한의 속도 제약 조건이 요구되며, 적용 가능성이 향상된다.
• 강건한 편향 보정 및 과소스무딩 방법은 전체 공변수 공간 $ \bar{\bf X} $ 에서 균일한 커버리지가 보장되는 유효한 신뢰구간을 제공한다.
• 이론적 프레임워크는 B-스플라인, 컴팩트 지지도 웨이브릿, 조각별 다항식에 적용되어 각각에 대해 새로운 유한표본 및 점근적 결과를 도출하였다.
• 제안된 방법의 실용적 구현을 위한 보조 R 패키지 `lspartition` 이 제공된다.