[論文レビュー] Asymptotics for minimisers of convex processes

Nils Lid Hjort, David Pollard|arXiv (Cornell University)|Jul 19, 2011

Statistical Methods and Inference参考文献 20被引用数 158

ひとこと要約

本稿では、凸基準関数の最小化から得られる推定量の一致性および漸近正規性を証明する一般的で凸性に基づく手法を提示する。2つの主要な凸性補題—凸過程の一様収束および摂動関数によるargminの近似—を活用することで、従来の結果よりも弱い正則性条件のもとで、ロジスティック回帰およびコックス回帰のより単純でより広く適用可能な証明を確立する。

ABSTRACT

By means of two simple convexity arguments we are able to develop a general method for proving consistency and asymptotic normality of estimators that are defined by minimisation of convex criterion functions. This method is then applied to a fair range of different statistical estimation problems, including Cox regression, logistic and Poisson regression, least absolute deviation regression outside model conditions, and pseudo-likelihood estimation for Markov chains. Our paper has two aims. The first is to exposit the method itself, which in many cases, under reasonable regularity conditions, leads to new proofs that are simpler than the traditional proofs. Our second aim is to exploit the method to its limits for logistic regression and Cox regression, where we seek asymptotic results under as weak regularity conditions as possible. For Cox regression in particular we are able to weaken previously published regularity conditions substantially.

研究の動機と目的

• 凸最小化によって定義される推定量の一致性および漸近正規性を証明するための統一的で汎用的な手法の開発。
• 最小二乗回帰、最小絶対偏差回帰、および最尤推定など、さまざまな統計モデルに対する既存の証明を単純化・統一すること。
• 特にコックス回帰において、漸近的結果に必要な正則性条件を大幅に弱める。
• 教育的価値を示すために、直感的で理解しやすい証明を提供する一方で、専門家向けの高レベルな結果も得られるようにすること。
• 標準的なモデルを超えた応用を可能とするフレームワークの提供、例えばマコフ連鎖の擬似尤度推定やポアソン回帰への応用。

提案手法

• 点ごとの収束と凸性に基づいて導出される、コンact集合上での凸確率過程の確率的収束の均一性に関する補題1を用いる。
• 最小値における曲率とsupノルムのずれに基づき、確率的境界を用いて、確率的凸関数のargminとその摂動版のargminとの距離を制御する補題2を採用する。
• スケーリングおよび中心化された基準関数にargmin近似フレームワークを適用し、漸近正規性を導出する。
• 凸性のもとで推定量が適切に定義され、可測であることを保証するため、argminの可測選択を用いる。
• ロジスティック回帰やコックス回帰など、対数凸尤度を持つモデルに、基準関数の適切な近似を用いて適用する。
• 収束の確率的収束を扱うためのドミネート収束補題（補題A3）や、確率過程における剰余項の制御のためのテイラー展開の境界を含む補助補題を用いる。

実験結果

リサーチクエスチョン

• RQ1 凸最小化によって定義される推定量の一致性および漸近正規性を証明するための、単一で一般的な手法を開発可能か？
• RQ2 ロジスティック回帰およびコックス回帰において、漸近正規性を保ちながら、正則性条件をどの程度弱められるか？
• RQ3 一致性の証明と漸近正規性の証明を別々に行うのを避けるために、凸性をどのように活用できるか？
• RQ4 最小二乗法、最小絶対偏差法、および最尤推定といった古典的モデルにおいて、この手法が既存の証明をどのように単純化または統一するか？
• RQ5 マコフ連鎖の擬似尤度推定やポアソン回帰のような非正則モデルに対しても、最小限の仮定のもとでこの手法を拡張可能か？

主な発見

• 本手法は、凸性と一様収束のみを用いて、一貫性および漸近正規性を統一的に証明するフレームワークを提供し、複雑な微分に基づく議論を回避する。
• ロジスティック回帰において、従来の結果よりも弱い正則性条件のもとで漸近正規性を確立でき、特にモーメントの条件や滑らかさの要件を緩和できる。
• コックス回帰において、漸近正規性に必要な正則性条件を著しく弱める。特に、ベースラインハザード関数や共変量の依存性に関する仮定を緩和することで、先行研究を改善する。
• argmin近似補題（補題2）の使用により、最小値における微分可能性や厳密な曲率の仮定が不要となり、推定量の収束を直接制御できる。
• 最小絶対偏差回帰やポアソン回帰といった標準的モデルに対しても、標準的なモデル仮定を満たさない場合でさえ、より単純で透明性の高い証明が得られる。
• 収束の確率的収束を扱うドミネート収束補題（補題A3）などの理論的ツールが、半パラメトリックモデルにおける確率積分やリンデバーグ型条件の解析を簡略化することが示された。