[論文レビュー] The M-estimator in a multi-phase random nonlinear model

Gabriela Ciuperca|ArXiv.org|Jun 1, 2007

Statistical Methods and Inference参考文献 16被引用数 3

ひとこと要約

本稿では、ランダム設計下における非線形回帰モデルに複数の未知の変化点を含むM推定量を考案し、パrameter推定量の一致性と漸近正規性を確立した。変化点推定量は、独立な複合ポアソン過程の最小最小化子に $ n^{-1} $ の速度で収束する。これは、広範な誤差分布クラスに対して有効であり、線形モデルおよび単一変化点モデルに関する先行研究を拡張するものである。

ABSTRACT

This paper considers M-estimation of a nonlinear regression model with multiple change-points occuring at unknown times. The multi-phase random design regression model, discontinuous in each change-point, have an arbitrary error $ε$. In the case when the number of jumps is known, the M-estimator of locations of breaks and of regression parameters are studied. These estimators are consistent and the distribution of the regression parameter estimators is Gaussian. The estimator of each change-point converges, with the rate $n^{-1}$, to the smallest minimizer of the independent compound Poisson processes. The results are valid for a large class of error distributions.

研究の動機と目的

• ランダム設計下における非線形で多段階の回帰モデルにM推定量を拡張すること。
• 回帰パラメータおよび変化点のM推定量の一致性と漸近分布を確立すること。
• 既存の最小二乗法および最尤推定に関する結果を、多段階モデルにおけるロバストなM推定量フレームワークに一般化すること。
• 一般誤差分布下での変化点推定量の収束速度および極限分布を分析すること。
• 非線形性およびランダム設計を考慮した非線形設定への線形モデルにおける証明技法の適応を、導関数に基づく議論を再構築することで実現すること。

提案手法

• K 個の未知の変化点 $ \tau_k $ を持つ多段階非線形回帰モデルを定式化し、回帰関数 $ f_\theta(x) $ を非線形関数 $ h_{\alpha_k}(x) $ を用いて区分的定義する。
• 観測された残差 $ Y_i - f_\theta(X_i) $ のロバスト損失関数 $ \psi(\varepsilon_i) $ の和を最小化することでM推定量を定義し、$ \psi $ が標準的なハッパー型の条件を満たすものとする。
• 損失関数 $ \psi $、関数 $ h_\alpha $、誤差分布に関する正則性条件の下で、回帰パラメータ $ \theta_1 $ および変化点 $ \theta_2 $ の両方についてM推定量 $ \hat{\theta}_n = (\hat{\theta}_{1n}, \hat{\theta}_{2n}) $ の一致性を確立する。
• 回帰パラメータ推定量 $ \hat{\theta}_{1n} $ の漸近分布を導出し、弱いモーメント条件および滑らかさ条件の下で漸近的に正規分布に従うことを示す。
• 変化点推定量 $ \hat{\theta}_{2n} $ を分析し、$ n(\hat{\theta}_{2n} - \theta^0_2) $ が独立な複合ポアソン過程の最小最小化子に弱収束することを証明する。
• 真のパラメータまわりの推定関数の局所的展開に依拠し、$ \partial h_\alpha / \partial \alpha $ および $ \psi $-関数の導出のバウンドとモーメント条件を用いる。

実験結果

リサーチクエスチョン

• RQ1 ランダム設計下における複数の未知の変化点を有する多段階非線形回帰モデルにおいて、M推定量はどのように振る舞うか？
• RQ2 回帰パラメータおよび変化点の両方について、M推定量の一致性と漸近分布の性質は何か？
• RQ3 変化点推定量の収束速度は何か？ また、その極限分布は何か？
• RQ4 同様のモデルにおける最小二乗法および最尤推定に関する先行研究の結果は、どのように一般化されるか？
• RQ5 線形モデルにおける漸近理論は、ランダム設計および一般誤差分布を有する非線形モデルに適応可能か？

主な発見

• 回帰パラメータのM推定量 $ \hat{\theta}_{1n} $ は、正則性条件の下で一貫的であり、漸近的に正規分布に従う。
• 変化点推定量 $ \hat{\theta}_{2n} $ は $ n^{-1} $ の速度で収束し、$ n(\hat{\theta}_{2n} - \theta^0_2) $ は独立な複合ポアソン過程の最小最小化子に弱収束する。
• 回帰パラメータ推定量の漸近分布は多変量正規分布であり、極限分散共分散行列は設計および誤差分布によって決定される。
• 変化点推定における収束速度 $ n^{-1} $ は、i.i.d. 状況下での一般的な $ n^{-1/2} $ の速度よりも速く、変化点における不連続性に起因する。
• 誤差密度が正で絶対連続であれば、広範な誤差分布クラスに対して結果が成り立つ。
• 証明技法は、$ \partial h_\alpha / \partial \alpha $ の振る舞いを制御し、$ \psi $-関数のモーメントバウンドを用いることで、線形モデルからの導出に基づく展開を非線形設定に適応している。