[논문 리뷰] Deterministic Inequalities for Smooth M-estimators

Arun Kumar Kuchibhotla|arXiv (Cornell University)|2018. 09. 13.

Statistical Methods and Inference참고 문헌 35인용 수 5

한 줄 요약

이 논문은 반복적 고정점 정리(Бanach fixed point theorem)를 사용하여 매끄러운 M-추정량에 대한 결정론적 부등식을 도입함으로써, 확률과정 이론에 의존하지 않고 유한표본 경계와 균일 수렴 결과를 가능하게 한다. 이는 일반적인 의존성 구조 하에서 균일한 서브모델 수렴과 후선택 추론을 가능하게 하며, 교차검증, 마진 스크리닝, PoSI 문제에 적용 가능하다.

ABSTRACT

Ever since the proof of asymptotic normality of maximum likelihood estimator by Cramer (1946), it has been understood that a basic technique of the Taylor series expansion suffices for asymptotics of $M$-estimators with smooth/differentiable loss function. Although the Taylor series expansion is a purely deterministic tool, the realization that the asymptotic normality results can also be made deterministic (and so finite sample) received far less attention. With the advent of big data and high-dimensional statistics, the need for finite sample results has increased. In this paper, we use the (well-known) Banach fixed point theorem to derive various deterministic inequalities that lead to the classical results when studied under randomness. In addition, we provide applications of these deterministic inequalities for crossvalidation/subsampling, marginal screening and uniform-in-submodel results that are very useful for post-selection inference and in the study of post-regularization estimators. Our results apply to many classical estimators, in particular, generalized linear models, non-linear regression and cox proportional hazards model. Extensions to non-smooth and constrained problems are also discussed.

연구 동기 및 목표

• 확률과정 근사에 의존하지 않는 매끄러운 M-추정량에 대한 유한표본 결정론적 경계를 개발하기 위해.
• 결정론적 도구를 사용하여 의존성 구조가 있는 고차원 설정에서의 점근적 분석을 통합하기 위해.
• 후선택 및 후정규화 추정량에 대한 균일한 서브모델 추론을 가능하게 하기 위해.
• 모델 선택에서 동시 커버리지 보장을 갖는 신뢰구역을 구성하기 위한 프레임워크를 제공하기 위해.
• 결정론적 잔차 경계를 통해 고전적인 점근적 결과를 비-i.i.i.d. 및 고차원 설정으로 확장하기 위해.

제안 방법

• 테일러 전개에 기반한 명시적 잔차 경계를 사용하여 반복적 고정점 정리를 적용해 M-추정량에 대한 결정론적 부등식을 유도한다.
• 잔차 항을 통제한 일阶 테일러 전개를 적용하여 수렴 속도와 오차 경계를 도출한다.
• 잔차 항의 결정론적 제어를 통해 모델 집합에 대한 추정량의 균일 수렴을 확립한다.
• 추정 오차에 대한 명시적 경계를 도출: $\|\hat{\beta}_{n,M} - \beta_{n,M}\|_2 \leq \left[\max_i C(\|X_i(M)\|_2 \delta_{n,M}) - 1\right]\delta_{n,M}$, 헤시안과 기울기 조건 하에서.
• 모든 $M \in \mathcal{M}$ 에서 균일하게 $\hat{\beta}_{n,M} - \beta_{n,M} = (1 + o_p(1)) [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})$ 를 적용한다.
• 균일 수렴이 서브모델 전역에서 보장되도록 하여 후선택 추론, 마진 스크리닝, 교차검증에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 매끄러운 M-추정량에 대해 확률과정 이론에 의존하지 않는 결정론적 부등식을 도출할 수 있는가? 이는 유한표본 경계를 제공한다.
• RQ2 일반적인 의존성 구조 하에서 결정론적 도구를 사용해 모델 집합에 대한 균일 수렴을 어떻게 확립할 수 있는가?
• RQ3 고차원 또는 비-i.i.d. 설정에서 결정론적 분석을 통해 M-추정량의 존재성과 유일성을 보장하는 조건은 무엇인가?
• RQ4 점근적 근사가 아닌 결정론적 부등식을 사용해 후선택 추론 보장을 어떻게 도출할 수 있는가?
• RQ5 이 프레임워크는 비매끄럽거나 제약 조건이 있는 M-추정량으로 확장될 수 있는가?

주요 결과

• 논문은 조건 $\max_i C(\|X_i(M)\|_2 \delta_{n,M}) \leq \frac{4}{3}$ 하에서 M-추정량 $\hat{\beta}_{n,M}$ 의 존재성과 유일성을 보장하는 결정론적 부등식을 확립한다.
• 균일 오차 경계를 제공한다: $\|\hat{\beta}_{n,M} - \beta_{n,M} + [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})\|_2 \leq \left[\max_i C(\|X_i(M)\|_2 \delta_{n,M}) - 1\right]\delta_{n,M}$.
• 모든 $M \in \mathcal{M}$ 에서 균일하게 선형 전개 $\hat{\beta}_{n,M} - \beta_{n,M} = (1 + o_p(1)) [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})$ 가 성립하며, 이는 부트스트랩 기반 추론을 가능하게 한다.
• 모든 $M \in \mathcal{M}$ 에 대해 $\sup_{M \in \mathcal{M}} \|\hat{\beta}_{n,M} - \beta_{n,M}\|_2 = o_p(1)$ 를 보장함으로써 후선택 추론을 지원한다. 이는 르베그 측도가 점점 줄어드는 신뢰구역에 필수적이다.
• 결과는 매끄럽고 두 번 미분 가능한 손실 함수 하에서 일반선형모형, 비선형 회귀, 코ックス 비례위험모형에 적용 가능하다.
• 모든 $\mathcal{M}$ 내 모델에서 동시 커버리지를 보장함으로써 균일한 서브모델 추론, 특히 PoSI(후선택 추론) 문제에 적용 가능하다.