[논문 리뷰] The M-estimator in a multi-phase random nonlinear model

Gabriela Ciuperca|ArXiv.org|2007. 06. 01.

Statistical Methods and Inference참고 문헌 16인용 수 3

한 줄 요약

이 논문은 무작위 설계 하에서 다중 미지의 변화점이 있는 비선형 회귀 모형에 대해 M-추정법을 개발하며, 매개변수 추정량의 일致성과 점근적 정규성을 확립한다. 변화점 추정량은 독립적인 복합 포아송 과정의 최소 최소화자로 $ n^{-1} $ 속도로 수렴하며, 이는 일반적인 오차 분포 클래스에 대해 유효하며, 선형 및 단일 변화점 모형에 대한 이전 결과를 확장한다.

ABSTRACT

This paper considers M-estimation of a nonlinear regression model with multiple change-points occuring at unknown times. The multi-phase random design regression model, discontinuous in each change-point, have an arbitrary error $ε$. In the case when the number of jumps is known, the M-estimator of locations of breaks and of regression parameters are studied. These estimators are consistent and the distribution of the regression parameter estimators is Gaussian. The estimator of each change-point converges, with the rate $n^{-1}$, to the smallest minimizer of the independent compound Poisson processes. The results are valid for a large class of error distributions.

연구 동기 및 목표

• 무작위 설계 하에서 다중 미지의 변화점이 있는 비선형 다단계 회귀 모형에 M-추정법을 확장하기 위해.
• 회귀 매개변수 및 변화점에 대한 M-추정량의 일치성과 점근적 분포를 확립하기 위해.
• 기존의 최소제곱 및 최대우도 추정법 결과를 다제품 모형에 대해 다루는 것을 보다 강력한 M-추정 프레임워크로 일반화하기 위해.
• 일반적인 오차 분포 하에서 변화점 추정량의 수렴 속도와 점근적 분포를 분석하기 위해.
• 비선형성과 무작위 설계 하에서 선형 모형에서의 증명 기법을 재구성하여 도함수 기반의 추론을 재수립하기 위해.

제안 방법

• 다중 단계 비선형 회귀 모형을 설정하며, 이는 $ K $ 개의 미지 변화점 $ \tau_k $ 를 포함하고, 회귀 함수 $ f_\theta(x) $ 는 비선형 함수 $ h_{\alpha_k}(x) $ 를 사용해 조각별로 정의된다.
• 관측 잔차 $ Y_i - f_\theta(X_i) $ 를 기반으로 한 강력한 손실 함수 $ \psi(\varepsilon_i) $ 의 합을 최소화함으로써 M-추정량을 정의하며, $ \psi $ 는 표준 허버 유형 조건을 만족시킨다.
• 손실 함수 $ \psi $, 함수 $ h_\alpha $, 오차 분포에 대한 규칙성 조건 하에서, 추정량 $ \hat{\theta}_n = (\hat{\theta}_{1n}, \hat{\theta}_{2n}) $ 이 회귀 매개변수 $ \theta_1 $ 과 변화점 $ \theta_2 $ 에 대해 일치함을 증명한다.
• 회귀 매개변수 추정량 $ \hat{\theta}_{1n} $ 의 점근적 분포를 유도하며, 약한 모멘트 조건과 미분 가능성 조건 하에서 점근적으로 정규분포를 이룬다.
• 변화점 추정량 $ \hat{\theta}_{2n} $ 을 분석하며, $ n(\hat{\theta}_{2n} - \theta^0_2) $ 이 독립적인 복합 포아송 과정의 최소 최소화자로 약한 수렴함을 증명한다.
• 진짜 매개변수 주변에서 추정 함수의 국소 전개를 사용하며, $ \partial h_\alpha / \partial \alpha $ 와 $ \psi $-함수에 대한 도함수 경계 및 모멘트 조건에 의존한다.

실험 결과

연구 질문

• RQ1 무작위 설계 하에서 다중 변화점이 있는 다단계 비선형 회귀 모형에서 M-추정법은 어떻게 행동하는가?
• RQ2 회귀 매개변수 및 변화점에 대한 M-추정량의 일치성과 점근적 분포 성질은 무엇인가?
• RQ3 변화점 추정량의 수렴 속도는 무엇이며, 그 점근적 분포는 무엇인가?
• RQ4 유사한 모형에서 최소제곱 및 최대우도 추정법에 대한 기존 결과는 어떻게 일반화되는가?
• RQ5 선형 모형의 점근적 이론은 비선형 모형과 무작위 설계, 일반적인 오차 분포에 대해 어떻게 적응될 수 있는가?

주요 결과

• 규칙성 조건 하에서 회귀 매개변수의 M-추정량 $ \hat{\theta}_{1n} $ 은 일치하며 점근적으로 정규분포를 따른다.
• 변화점 추정량 $ \hat{\theta}_{2n} $ 은 $ n^{-1} $ 속도로 수렴하며, $ n(\hat{\theta}_{2n} - \theta^0_2) $ 이 독립적인 복합 포아송 과정의 최소 최소화자로 약한 수렴한다.
• 회귀 매개변수 추정량의 점근적 분포는 다변량 정규분포이며, 이의 점근적 공분산 행렬은 설계와 오차 분포에 의해 결정된다.
• 변화점 추정의 수렴 속도 $ n^{-1} $ 은 i.i.d. 설정에서 일반적인 $ n^{-1/2} $ 속도보다 빠르며, 이는 변화점에서의 불연속성 때문인 바, 이는 변화점의 특성에 기인한다.
• 오차 밀도가 양수이자 절대 연속일 경우, 이 결과는 일반적인 오차 분포 클래스에 대해 유효하다.
• 증명 기법은 $ \partial h_\alpha / \partial \alpha $ 의 행동을 제어하고 $ \psi $-함수에 대한 모멘트 경계를 사용함으로써 선형 모형에서의 도함수 기반 전개를 비선형 설정으로 적응한다.