[論文レビュー] Deterministic Inequalities for Smooth M-estimators

Arun Kumar Kuchibhotla|arXiv (Cornell University)|Sep 13, 2018

Statistical Methods and Inference参考文献 35被引用数 5

ひとこと要約

この論文は、バナッハの不動点定理を用いて滑らかなM推定量に対する決定的不等式を導入し、確率過程への依存を避けながら有限標本バウンドと一様収束結果を可能にする。一般の依存構造下でも、サブモデルごとの一様収束を確立し、後選択推定量の推論を可能にする。クロスバリデーション、マージナルスクリーニング、PoSI問題への応用を含む。

ABSTRACT

Ever since the proof of asymptotic normality of maximum likelihood estimator by Cramer (1946), it has been understood that a basic technique of the Taylor series expansion suffices for asymptotics of $M$-estimators with smooth/differentiable loss function. Although the Taylor series expansion is a purely deterministic tool, the realization that the asymptotic normality results can also be made deterministic (and so finite sample) received far less attention. With the advent of big data and high-dimensional statistics, the need for finite sample results has increased. In this paper, we use the (well-known) Banach fixed point theorem to derive various deterministic inequalities that lead to the classical results when studied under randomness. In addition, we provide applications of these deterministic inequalities for crossvalidation/subsampling, marginal screening and uniform-in-submodel results that are very useful for post-selection inference and in the study of post-regularization estimators. Our results apply to many classical estimators, in particular, generalized linear models, non-linear regression and cox proportional hazards model. Extensions to non-smooth and constrained problems are also discussed.

研究の動機と目的

• 確率過程の近似に依存しない有限標本の決定的バウンドを、滑らかなM推定量に対して開発すること。
• 決定的ツールを用いて、従属および高次元設定における漸近的解析を統一すること。
• 後選択および後正則化推定量のサブモデルに一様な推論を可能にすること。
• モデル選択における同時被覆保証を持つ信頼領域を構築するフレームワークを提供すること。
• 決定的剰余項バウンドを用いて、古典的漸近的結果をi.i.d.でないおよび高次元設定に拡張すること。

提案手法

• テイラー展開と明示的な剰余項バウンドに基づき、バナッハの不動点定理を用いてM推定量に対する決定的不等式を導出する。
• 剰余項を制御した1次近似を推定関数に適用し、収束速度と誤差バウンドを導出する。
• 剰余項の決定的制御を用いて、モデルの集合上での推定量の一様収束を確立する。
• 推定誤差の明示的バウンドを導出：$\|\hat{\beta}_{n,M} - \beta_{n,M}\|_2 \leq \left[\max_i C(\|X_i(M)\|_2 \delta_{n,M}) - 1\right]\delta_{n,M}$、ヘッセ行列と勾配に関する条件の下で。
• 線形展開 $\hat{\beta}_{n,M} - \beta_{n,M} = (1 + o_p(1)) [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})$ を $M \in \mathcal{M}$ 全体で一様に適用する。
• サブモデル全体での一様収束を保証することで、後選択推論、マージナルスクリーニング、およびクロスバリデーションにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 確率過程理論への依存を避け、有限標本バウンドをもたらす滑らかなM推定量に対する決定的不等式を導出できるか？
• RQ2 一般の依存構造下で、決定的ツールを用いてモデルの集合上での一様収束を確立できるか？
• RQ3 決定的解析を用いて、高次元または非i.i.d.設定におけるM推定量の存在および一意性を保証する条件は何か？
• RQ4 漸近的近似に代えて、決定的不等式を用いて後選択推論の保証を導出できるか？
• RQ5 このフレームワークは、非滑らかまたは制約付きM推定量に拡張可能か？

主な発見

• 論文は、$\max_i C(\|X_i(M)\|_2 \delta_{n,M}) \leq \frac{4}{3}$ の条件下で、M推定量 $\hat{\beta}_{n,M}$ の存在および一意性を保証する決定的不等式を確立した。
• 一様誤差バウンドを提供：$\|\hat{\beta}_{n,M} - \beta_{n,M} + [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})\|_2 \leq \left[\max_i C(\|X_i(M)\|_2 \delta_{n,M}) - 1\right]\delta_{n,M}$。
• 線形展開 $\hat{\beta}_{n,M} - \beta_{n,M} = (1 + o_p(1)) [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})$ が $M \in \mathcal{M}$ 全体で一様に成り立ち、ブートストラップに基づく推論を可能にする。
• フレームワークは、$\sup_{M \in \mathcal{M}} \|\hat{\beta}_{n,M} - \beta_{n,M}\|_2 = o_p(1)$ を保証することで、ルベーグ測度が消える信頼領域を必要とする後選択推論を支援する。
• 滑らかで2回微分可能な損失関数の下で、一般化線形モデル、非線形回帰、コックス比例ハザードモデルに適用可能である。
• すべてのモデル $\mathcal{M}$ における同時被覆を保証することで、サブモデルに一様な推論、特にPoSI（後選択推論）問題に対しても有効である。