[論文レビュー] Efficient Estimation in Convex Single Index Models

Arun Kumar Kuchibhotla, Rohit K. Patra+1 more|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿では、未知の凸リンク関数を有する単一インデックスモデルに対して、凸かつリプシッツ制約を課した最小二乗推定量（CLSE）を提案する。この手法により、弱いモーメント条件のもとで、パラメトリック成分およびノンパラメトリック成分の効率的推定が可能となる。誤差が $q \geq 5$ モーメントを持ち、かつホモスケダスティックである場合、$n^{-1/2}$-レートの漸近正規性と半パラメトリック効率性が確立され、Rパッケージ simest に実装された安定な計算アルゴリズムを備えている。

ABSTRACT

We consider estimation and inference in a single index regression model with an unknown convex link function. We introduce a convex and Lipschitz constrained least squares estimator (CLSE) for both the parametric and the nonparametric components given independent and identically distributed observations. We prove the consistency and find the rates of convergence of the CLSE when the errors are assumed to have only $q \ge 2$ moments and are allowed to depend on the covariates. When $q\ge 5$, we establish $n^{-1/2}$-rate of convergence and asymptotic normality of the estimator of the parametric component. Moreover, the CLSE is proved to be semiparametrically efficient if the errors happen to be homoscedastic. {We develop and implement a numerically stable and computationally fast algorithm to compute our proposed estimator in the R package~ exttt{simest}}. We illustrate our methodology through extensive simulations and data analysis. Finally, our proof of efficiency is geometric and provides a general framework that can be used to prove efficiency of estimators in a wide variety of semiparametric models even when they do not satisfy the efficient score equation directly.

研究の動機と目的

• 未知の凸リンク関数を有する単一インデックスモデルに対して、計算的に安定かつ効率的な推定量を開発すること。
• 誤差のモーメントが弱い条件下（$q \geq 2$）でも推定量の一致性と収束速度を確立すること。
• 誤差が $q \geq 5$ モーメントを持つ場合、パラメトリック成分推定量の漸近正規性と半パラメトリック効率性を証明すること。
• 効率スコア方程式を満たさない半パラメトリックモデルに対しても、効率性を示すための幾何的枠組みを構築すること。
• 実用的用途を想定した数値的に安定なアルゴリズムを実装し、Rパッケージ simest で利用可能にする。

提案手法

• パラメトリックなインデックスベクトルとノンパラメトリックな凸リンク関数を推定するため、凸かつリプシッツ制約を課した最小二乗推定量（CLSE）を提案する。
• リンク関数に凸性とリプシッツ連続性の制約を課すことで、推定量の正則性と一意性を保証する。
• 制約付きの経験的リスク最小化を用いてCLSEを導出し、$q \geq 2$ のモーメント条件のもとで一貫性を保証する。
• 効率スコア方程式の直接的検証を回避するため、幾何的アプローチを用いて半パラメトリック効率性を証明する。
• CLSEを計算するための数値的に安定なアルゴリズムを開発し、実用的導入を目的としてRパッケージ simest に実装する。
• ノンパラメトリック成分を扱う際、滑らかさと射影技術を用いることで、凸性およびリプシッツ性の性質を維持する。

実験結果

リサーチクエスチョン

• RQ1 未知の凸リンク関数を有する単一インデックスモデルにおいて、凸かつリプシッツ制約付き最小二乗推定量（CLSE）は、$n^{-1/2}$-レートの収束と漸近正規性を達成できるか？
• RQ2 誤差が $q \geq 2$ モーメントしか持たない場合、および異分散性を有する場合、CLSEの収束速度はどのようになるか？
• RQ3 CLSEが半パラメトリックに効率的となる条件は何か、特に誤差がホモスケダスティックである場合に限っては？
• RQ4 効率スコア方程式を満たさない半パラメトリックモデルに対しても、幾何的枠組みを用いて効率性を証明できるか？
• RQ5 実世界のデータ解析において、CLSEを効率的かつ安定的に計算するにはどうすればよいか？

主な発見

• CLSEは弱いモーメント条件のもとで一貫性と収束速度を達成でき、$q \geq 2$ のモーメントで十分に一貫性が保証される。
• 誤差が $q \geq 5$ モーメントを持つ場合、パラメトリック成分推定量は $n^{-1/2}$-レートの収束を達成し、漸近的に正規分布に従う。
• 誤差がホモスケダスティックである限り、CLSEは効率スコア方程式を直接満たさなくても、半パラメトリックに効率的である。
• 本稿で開発された幾何的証明枠組みは、現在の設定を超えた他の半パラメトリックモデルに対しても一般化可能である。
• CLSEを計算するための数値的に安定で計算効率の高いアルゴリズムが実装され、Rパッケージ simest で利用可能である。
• 広範なシミュレーションと実データ解析により、推定量の有限標本におけるロバストネスと実用的有用性が確認された。