[論文レビュー] A penalized exponential risk bound in parametric estimation

Vladimir Spokoiny|ArXiv.org|Mar 10, 2009

Statistical Methods and Inference参考文献 25被引用数 6

ひとこと要約

本稿は、パラメトリック仮定、識別可能性、観測値の独立性を要件としない、一般化線形モデルにおける準最尤推定器の非漸近的指数的リスクバウンドを導入する。主な貢献は、すべての標本サイズに対して有効であり、モデルがわずかに誤った指定であっても適用可能な、真のパラメータからの逸脱確率を制限する濃縮不等式である。明示的なペナルティ関数により、準最尤推定器が真のパラメータのまわりにきめ細かく集中することを保証する。

ABSTRACT

The paper offers a novel unified approach to studying the accuracy of parameter estimation by the quasi likelihood method. Important features of the approach are: (1) The underlying model {is not assumed to be parametric}. (2) No conditions on parameter identifiability are required. The parameter set can be unbounded. (3) The model assumptions are quite general and there is no specific structural assumptions like independence or weak dependence of observations. The imposed conditions on the model are very mild and can be easily checked in specific applications. (4) The established risk bounds are {nonasymptotic} and valid for large, moderate and small samples. (5) The main result is the concentration property of the quasi MLE giving an nonasymptotic exponential bound for the probability that the considered estimate deviates out of a small neighborhood of the "true" point. In standard situations under mild regularity conditions, the usual consistency and rate results can be easily obtained as corollaries from the established risk bounds. % The approach and the results are illustrated on the example of generalized linear and single-index models.

研究の動機と目的

• 一般統計モデルにおける準最尤推定の精度を分析する統一的かつ非漸近的な枠組みを構築すること。
• パラメトリック正しさ、パラメータの識別可能性、観測値の独立性といった標準的仮定を排除すること。
• 小標本、中規模標本、大標本のすべてに対して、準最尤推定器が真のパラメータの近傍に指数的濃縮するバウンドを確立すること。
• 点推定誤差ではなく、準尤度関数に基づく信頼集合および濃縮集合を構築する一般的手法を提供すること。

提案手法

• 推定器が真のパラメータから逸脱するのを制御するために、ペナルティ付き準尤度関数を用いる。ペナルティはレート関数と半距離構造から導出される。
• 主な技術的ツールとして、対数尤度の局所的曲率を捉えるヘッシアン行列 $ H(\boldsymbol{\upsilon}) $ を用いて定義される半距離 $ \mathfrak{D}(\boldsymbol{\upsilon}, \boldsymbol{\upsilon}_0) $ の使用。
• 減少関数 $ \varkappa(\|H^*(\boldsymbol{\upsilon}-\boldsymbol{\upsilon}_0)\|) $ を用いたペナルティ関数 $ \operatorname{pen}(\boldsymbol{\upsilon}) $ を導入し、可積分性と濃縮性を保証する。
• 変数変換とモーメント母関数の技法を用いて主なバウンドを導出。ペナルティ付き対照関数の上界に対する指数的尾部バウンドが得られる。
• ペナルティは、$ \mathbb{E}[\exp(\varrho \sup_{\boldsymbol{\upsilon} \in \varUpsilon} \{ \mathscr{Y}(\boldsymbol{\upsilon}) - \operatorname{pen}(\boldsymbol{\upsilon}) \})] \leq \mathfrak{Q}(\varrho, \epsilon) $ を満たすように構築され、$ \mathfrak{Q} $ は $ \mathfrak{P}^* $、すなわち $ \varkappa $ の正規化積分により制御される。
• ガウス型および多項式型の尾部に対して、具体的なペナルティ形式を導出。たとえば $ \operatorname{pen}_1(\boldsymbol{\upsilon}) = \varrho^{-1}\delta_1 \epsilon^{-2}\|H^*(\boldsymbol{\upsilon}-\boldsymbol{\upsilon}_0)\|^2 $ および $ \operatorname{pen}_2(\boldsymbol{\upsilon}) = -\varrho^{-1}(p+\delta_2)\log(\epsilon^{-1}\|H^*(\boldsymbol{\upsilon}-\boldsymbol{\upsilon}_0)\|+2) $。

実験結果

リサーチクエスチョン

• RQ1 識別可能性やモデルのパラメトリック正しさを仮定しない条件下で、準最尤推定器に対する非漸近的指数的濃縮バウンドを確立できるか？
• RQ2 パラメータ空間が有界でない場合でも、真のパラメータのまわりにきめ細かく集中するように、一般化されたペナルティ関数をどのように構築できるか？
• RQ3 このようなリスクバウンドが成り立つために必要な最小限で検証可能な正則性条件は何か。特に i.i.d. または弱相関の仮定がない場合に限る。
• RQ4 導出されたバウンドが、古典的な一貫性および収束速度の結果を、帰納的に回復する程度はどの程度か？
• RQ5 この手法は一般化線形モデルやシングルインデックスモデルに適用可能か。また、得られる濃縮集合は期待される root-n スケーリングに一致するか？

主な発見

• 本稿は非漸近的指数的バウンドを確立した：$ \mathbb{E}[\exp(\varrho \sup_{\boldsymbol{\upsilon} \in \varUpsilon} \{ \mathscr{Y}(\boldsymbol{\upsilon}) - \operatorname{pen}(\boldsymbol{\upsilon}) \})] \leq \mathfrak{Q}(\varrho, \epsilon) $、ここで $ \log \mathfrak{Q}(\varrho, \epsilon) = \frac{2\epsilon^2\varrho^2}{1-\varrho} + (1-\varrho)\mathbb{Q}_p + \log(\mathfrak{P}^*) $ であり、推定器の集中を保証する。
• ガウス型ペナルティ $ \operatorname{pen}_1(\boldsymbol{\upsilon}) = \varrho^{-1}\delta_1 \epsilon^{-2}\|H^*(\boldsymbol{\upsilon}-\boldsymbol{\upsilon}_0)\|^2 $ の場合、$ \log \mathfrak{Q}_2(\varrho, \epsilon) = \frac{2\epsilon^2\varrho^2}{1-\varrho} + (1-\varrho)\mathbb{Q}_p + \log(1 + \omega_p^{-1} (\pi/\delta_1)^{p/2}) $ が成り立つ。
• 多項式型ペナルティ $ \operatorname{pen}_2(\boldsymbol{\upsilon}) = -\varrho^{-1}(p+\delta_2)\log(\epsilon^{-1}\|H^*(\boldsymbol{\upsilon}-\boldsymbol{\upsilon}_0)\|+2) $ の場合、$ \log \mathfrak{Q}_1(\varrho, \epsilon) = \frac{2\epsilon^2\varrho^2}{1-\varrho} + (1-\varrho)\mathbb{Q}_p + \log(p/\delta_2) $ が成り立つ。
• 濃縮集合は、ややきめ細かな正則性条件のもとで、通常は真のパラメータの root-n 近傍の大きさをとることが示された。
• モデルの誤指定に対しても結果は頑健である：真の分布がパラメトリック族に属さない場合でも、準最尤推定器は最良の近似パラメータのまわりに集中する。
• この枠組みは、古典的な一貫性および収束速度の結果を帰納的に回復する。したがって、提案手法の広範な適用可能性と一般性が示された。