[論文レビュー] Semiparametric Efficiency in Convexity Constrained Single Index Model

Arun Kumar Kuchibhotla, Rohit K. Patra+1 more|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference参考文献 55被引用数 4

ひとこと要約

本稿は、未知の凸リンク関数を有する単一インデックスモデルに対して、凸かつリプシッツ制約を課した最小二乗推定量（CLSE）を提案する。この手法により、弱いモーメント条件のもとでも効率的な推定が可能となる。誤差のモーメントが $ q \geq 5 $ を満たす場合、パラメトリックなインデックス成分について $ n^{-1/2} $ 速度の漸近正規性と半パラメトリック効率性を確立し、標準的な効率的スコア条件を満たさない場合にも適用可能な幾何的証明フレームワークを用いる。

ABSTRACT

We consider estimation and inference in a single-index regression model with an unknown convex link function. We introduce a convex and Lipschitz constrained least-square estimator (CLSE) for both the parametric and the nonparametric components given independent and identically distributed observations. We prove the consistency and find the rates of convergence of the CLSE when the errors are assumed to have only q≥2 moments and are allowed to depend on the covariates. When q≥5, we establish n−1/2-rate of convergence and asymptotic normality of the estimator of the parametric component. Moreover, the CLSE is proved to be semiparametrically efficient if the errors happen to be homoscedastic. We develop and implement a numerically stable and computationally fast algorithm to compute our proposed estimator in the R package simest. We illustrate our methodology through extensive simulations and data analysis. Finally, our proof of efficiency is geometric and provides a general framework that can be used to prove efficiency of estimators in a wide variety of semiparametric models even when they do not satisfy the efficient score equation directly. Supplementary files for this article are available online.

研究の動機と目的

• リンク関数が凸であるが未知である場合の単一インデックスモデルに対して、誤差のモーメントが弱い仮定のもとでも頑健な推定量を開発すること。
• 誤差のモーメントが $ q \geq 5 $ のもとで、パラメトリックなインデックス成分についての漸近正規性と半パラメトリック効率性を確立すること。
• 実装のための数値的に安定で計算効率の良いアルゴリズムを、Rパッケージ simest を通じて提供すること。
• 効率的スコア方程式が直接満たされないモデルにおいても、半パラメトリック効率性を証明するための一般化可能な幾何的フレームワークを提供すること。

提案手法

• パラメトリックなインデックス・ベクトルと非パラメトリックな凸リンク関数を同時に推定する、凸かつリプシッツ制約を課した最小二乗推定量（CLSE）を提案する。
• リンク関数に凸性およびリプシッツ制約を課すことにより、形状制限付きの推定と安定性を確保する。
• 反復最小化アルゴリズムを用いてCLSEを効率的に計算し、重複または近接したインデックス値による悪条件化を避けるために事前ビニングを行う。
• 未定義かつ重たい尾を持つ誤差を扱うために、$ q \geq 2 $ モーメント仮定のもとで新たな最大不等式を導出する。
• 効率的スコア方程式に依存しない幾何的証明戦略を用いて、半パラメトリック効率性を確立する。
• 実用的応用のため、数値的に安定で計算効率の良いアルゴリズムをRパッケージ simest に実装する。

実験結果

リサーチクエスチョン

• RQ1 誤差のモーメントが $ q \geq 5 $ のみを満たす場合でも、凸かつリプシッツ制約を課した最小二乗推定量（CLSE）が、パラメトリックなインデックス成分について $ n^{-1/2} $ 速度の収束と漸近正規性を達成できるか。
• RQ2 誤差がホモスケダスティックである場合でさえ、標準的な効率的スコア方程式を満たさないとしても、提案されたCLSEが半パラメトリックに効率的であるか。
• RQ3 効率的スコアが直接利用できない半パラメトリックモデルにおいて、効率性のための幾何的アプローチをどのように一般化できるか。
• RQ4 異分散性および重たい尾を持つ誤差が存在する状況下で、CLSEの有限標本性能と計算上の実行可能性はいかがなものか。
• RQ5 特に $ q \geq 5 $ の条件下で、CLSEがミニマックスレート最適性を達成できるか。

主な発見

• 誤差のモーメントが $ q \geq 5 $ のもとで、CLSEはパラメトリックなインデックス成分について $ n^{-1/2} $ 速度の収束と漸近正規性を達成する。
• 誤差がホモスケダスティックである場合、CLSEは半パラメトリックに効率的であり、漸近分散は効率的情報行列のモールー・ペンローズ逆行列に等しい。
• 効率性の証明は幾何的であり、一般化可能であり、効率的スコア方程式に依存しない半パラメトリックモデルにおける効率性の証明に新たなフレームワークを提供する。
• $ q \geq 5 $ の条件下で、CLSEはミニマックスレートに最適である。これは、付録S.6でミニマックス下界を導出することで示された。
• Rパッケージ simest に実装された提案アルゴリズムは、重複または近接したインデックス値が存在する場合でも、数値的に安定で計算効率が良い。
• 未定義かつ重たい尾を持つ誤差を扱うために、$ q \geq 2 $ モーメント仮定のもとで、収束を証明するために不可欠な新たな最大不等式が導出された。