[論文レビュー] Higher Order Estimating Equations for High-dimensional Models

James M. Robins, Lingling Li+3 more|PubMed|Dec 7, 2015

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、標準的な √n 速度推定が失敗する高次元的または非正規なモデルにおける機能的量の推定に、高次影響関数に基づく U 統計量を用いた高次推定方程式を導入する。この手法は、非線形的で高次の推定関数を通じてバイアスと分散のバランスをとることで、挑戦的な半パラメトリック設定において最適な収束速度を達成する。

ABSTRACT

We introduce a new method of estimation of parameters in semi-parametric and nonparametric models. The method is based on estimating equations that are <i>U</i>-statistics in the observations. The <i>U</i>-statistics are based on higher order influence functions that extend ordinary linear influence functions of the parameter of interest, and represent higher derivatives of this parameter. For parameters for which the representation cannot be perfect the method leads to a bias-variance trade-off, and results in estimators that converge at a slower than <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-rate</mml:mtext></mml:math> . In a number of examples the resulting rate can be shown to be optimal. We are particularly interested in estimating parameters in models with a nuisance parameter of high dimension or low regularity, where the parameter of interest cannot be estimated at <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-rate</mml:mtext></mml:math> , but we also consider efficient <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-estimation</mml:mtext></mml:math> using novel nonlinear estimators. The general approach is applied in detail to the example of estimating a mean response when the response is not always observed.

研究の動機と目的

• 標準的な √n 速度推定が不可能な高次元的または非正規な半パラメトリックモデルにおける機能的量の推定手法を開発すること。
• 低正則性または高次元的ネイズルパラメータを有するモデルにおけるバイアス・バリアンス・トレードオフを扱うこと。
• 古典的な推定方程式理論を線形影響関数の範囲を越えて、機能的量の高次微分へと拡張すること。
• モデルの複雑さや不規則性のため、パラメータの推定が √n 速度で達成できない設定において、最適な収束速度を達成すること。

提案手法

• 関心の機能的量の高次微分を表す高次影響関数に基づく U 統計量を構築する。
• 線形推定方程式の代わりに、非線形な U 統計量形式を用いることで、非正規モデルにおけるバイアスをよりよく制御する。
• 形式 $\hat{\chi}_n = \chi(\hat{p}_n) + \mathbb{U}_n \chi_{\hat{p}_n} $ の 1 ステップ推定量を適用する。ここで $\mathbb{U}_n$ は 1 階より高い U 統計量である。
• 推定関数の 2 階モーメントをバインドするために、射影作用素および退化 U 統計量分解を用いる。
• 条件付き期待値と直交性の議論を用いて、高次推定関数の分散を制御する。
• 接空間および影響関数理論を適用して、機能的量の高次近似を導出し、バイアス補正を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次影響関数を用いて、非正規的・高次元的モデルにおいて最適な収束速度を達成する推定量を構築できるか？
• RQ2 1 階より高い U 統計量を用いることで、半パラメトリック推定におけるバイアスと分散のバランスをどのようにとれるか？
• RQ3 モデルが低正則性または高次元的ネイズルパラメータを有する場合、機能的量の推定における最適収束速度は何か？
• RQ4 どのような設定で、提案手法が標準的な √n 速度推定よりも速い収束を達成するか？
• RQ5 非線形的で高次の推定関数を用いることで、推定方程式のバイアス項をどのように制御できるか？

主な発見

• 提案された高次推定方程式は、非正規モデルでは √n より遅い収束速度を示すが、いくつかの例においてそれが最適であることが示された。
• 本手法は、標準的な √n 速度推定が失敗する高次元的または不規則なネイズルパラメータを有するモデルを効果的に取り扱える。
• 高次影響関数に基づく U 統計量の使用は、線形推定方程式と比較して、バイアス・バリアンス・トレードオフが改善された推定量をもたらす。
• 直交性および射影カーネルノルムを用いて推定関数の 2 階モーメントの上限を導出し、$O(R \varepsilon_n^4)$ の誤差バウンドを得た。
• 本手法は、欠損データ下での平均応答の推定に適用可能であり、半パラメトリック統計における重要な例である。
• 補足資料における理論的結果は、$m > 3$ の場合に推定量の速度最適性が確認されており、主定理を高次ケースへと拡張した。