[논문 리뷰] Estimating the error distribution function in nonparametric regression

Ursula U. Müller, Anton Schίck외 1명|arXiv (Cornell University)|2018. 10. 03.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 비모수 회귀에서 오차 분포 함수를 추정하기 위한 효율적인 추정기법을 제안한다. 이는 과소적용된 국소 이차 스무딩을 통해 구한 잔차와 커널 스무딩을 조합하여 이루어지며, 핵심 결과는 오차의 평균 제로 조건과 효율적 영향 함수를 일치시킴으로써 최소 점근적 분산을 달성하는 점근적 동치성을 확립하는 것이다.

ABSTRACT

We construct an efficient estimator for the error distribution function of the nonparametric regression model Y = r(Z) + e. Our estimator is a kernel smoothed empirical distribution function based on residuals from an under-smoothed local quadratic smoother for the regression function.

연구 동기 및 목표

• 비모수 회귀에서 회귀 함수가 알려져 있지 않을 경우 오차 분포 함수를 위한 효율적 추정기법을 개발하기 위해.
• 회귀 함수를 알지 못하는 상황에서 오차 분포를 추정하는 데 있어 표준 경험적 추정기법이 편향과 비효율성을 유발하는 문제를 다루기 위해.
• 오차의 평균 제로 조건을 활용하여 가능한 최소 점근적 분산을 달성하는 추정기법을 구축하기 위해.
• 제안된 추정기와 진짜 분포 함수에 보정 항을 더한 것 사이의 점근적 동치성을 확립하여 효율성을 확인하기 위해.

제안 방법

• 제안된 추정기법은 과소적용된 국소 이차 스무딩을 통해 추정된 회귀 함수의 잔차를 기반으로 한 커널 스무딩 경험분포함수이다.
• 이 방법은 추정기의 수렴 속도가 최적의 n−1/2 속도에 도달하지 않도록 과소적용을 통해 회귀 함수 추정기의 수렴 속도를 조절함으로써 오차 분포 추정기의 효율성을 유지한다.
• 이 추정기법이 진짜 분포 함수에 오차 밀도와 잔차를 포함한 보정 항을 더한 것과 점근적으로 동치임을 보였다.
• 증명은 오차 밀도의 리프시츠 연속성과 적절한 대역폭 선택 조건 하에서의 테일러 전개, 열거형 U통계량, 그리고 모멘트 경계를 기반으로 한다.
• 이론적 근거는 독립 동일분포 평균 제로 관측치에서의 효율적 영향 함수와의 비교를 통한 영향 함수 분석을 사용한다.
• 기술적 도구로는 잔차의 모멘트 경계, 극단적 오차의 절단, 커널 및 밀도 스무딩을 활용한 점근적 근사가 포함된다.

실험 결과

연구 질문

• RQ1 회귀 함수가 알려져 있지 않은 비모수 회귀에서 오차 분포 함수를 위한 효율적 추정기법을 구성할 수 있는가?
• RQ2 과소적용된 국소 이차 스무딩을 통해 구한 잔차의 커널 스무딩이 효율적 영향 함수를 달성하는가?
• RQ3 제안된 추정기의 점근적 분산은 얼마이며, 진짜 오차를 사용한 경험적 추정기와 비교해 볼 때 어떻게 다른가?
• RQ4 진짜 오차를 사용한 경험적 추정기법이 비효율적인 이유는 무엇이며, 제안된 방법은 이를 어떻게 보정하는가?
• RQ5 추정기의 효율성은 오차 밀도의 매끄러움 정도와 회귀 함수의 미분 가능성에 얼마나 의존하는가?

주요 결과

• 제안된 추정기 ˆF∗(t)는 F(t)에 f(t)와 평균 잔차를 포함한 보정 항을 더한 것과 점근적으로 동치이며, 그 차이는 n−1/2 속도로 확률적 수렴을 이룬다.
• ˆF∗(t)의 영향 함수는 평균 제로 오차 조건 하에서 F(t)의 효율적 영향 함수와 일치함을 확인하여 그 효율성을 입증한다.
• 정규 오차의 경우, ˆF∗(t)의 점근적 분산은 진짜 오차를 사용한 경험적 추정기보다 엄격히 작으며, 이는 평균 제로 조건을 활용했기 때문이다.
• 완전 효율 추정기와의 분산 증가분은 (σf(t) − σ−1∫∞t xf(x)dx)²로 표현되며, 정규 오차의 경우 이 값은 0이 된다.
• 이 추정기법은 F(t)를 추정할 때 가능한 최소 점근적 분산을 달성하여, 임의의 유한한 점 집합 t1 < ··· < tk에 대해 가장 분산이 작은 정규 추정기임을 보여준다.
• 이 방법은 알려지지 않은 회귀 함수에 대해 강건하며, 과소적용과 잔차의 커널 스무딩을 통해 효율성을 유지한다.