[논문 리뷰] Second order Stein: SURE for SURE and other applications in high-dimensional inference

Pierre Bellec, Cun‐Hui Zhang|arXiv (Cornell University)|2018. 11. 09.

Groundwater flow and contamination studies참고 문헌 43인용 수 11

한 줄 요약

이 논문은 고차원 추론에서 스틴의 비편향 리스크 추정(SURE)의 분산을 특성화하기 위해 두 번째 차수 스틴 공식을 도입한다. SURE의 SURE—즉, SURE와 진짜 리스크 사이의 제곱 오차의 비편향 추정량—를 유도함으로써 라소와 엘라스틱 넷과 같은 추정량에 대한 정확한 리스크 평가가 가능해지며, 모형 선택, 비편향화, 신뢰 영역 구성 등에 적용된다.

ABSTRACT

Stein's formula states that a random variable of the form $z^ op f(z) - ext{div} f(z)$ is mean-zero for functions $f$ with integrable gradient. Here, $ ext{div} f$ is the divergence of the function $f$ and $z$ is a standard normal vector. This paper aims to propose a Second Order Stein formula to characterize the variance of such random variables for all functions $f(z)$ with square integrable gradient, and to demonstrate the usefulness of this formula in various applications. In the Gaussian sequence model, a consequence of Stein's formula is Stein's Unbiased Risk Estimate (SURE), an unbiased estimate of the mean squared risk for almost any estimator $\hatμ$ of the unknown mean. A first application of the Second Order Stein formula is an Unbiased Risk Estimate for SURE itself (SURE for SURE): an unbiased estimate {providing} information about the squared distance between SURE and the squared estimation error of $\hatμ$. SURE for SURE has a simple form as a function of the data and is applicable to all $\hatμ$ with square integrable gradient, e.g. the Lasso and the Elastic Net. In addition to SURE for SURE, the following applications are developed: (1) Upper bounds on the risk of SURE when the estimation target is the mean squared error; (2) Confidence regions based on SURE; (3) Oracle inequalities satisfied by SURE-tuned estimates; (4) An upper bound on the variance of the size of the model selected by the Lasso; (5) Explicit expressions of SURE for SURE for the Lasso and the Elastic-Net; (6) In the linear model, a general semi-parametric scheme to de-bias a differentiable initial estimator for inference of a low-dimensional projection of the unknown $β$, with a characterization of the variance after de-biasing; and (7) An accuracy analysis of a Gaussian Monte Carlo scheme to approximate the divergence of functions $f: R^n o R^n$.

연구 동기 및 목표

• 고차원 추정에서 핵심 도구인 SURE의 분산을 추정하기 위한 스틴 공식의 두 번째 차수 확장 개발.
• 모든 제곱-integrable 기울기를 가진 추정량에 적용 가능한, SURE와 진짜 추정 리스크 사이의 제곱 오차의 비편향 추정량(SURE for SURE) 제공.
• 신뢰 영역, 모형 크기 분산 경계, 비편향 추정 등 고차원 모형에서의 향상된 추론 가능화.
• 약한 정규성 조건 하에서 SURE 조정 추정량에 대한 오ракル 부등식과 리스크 경계 수립.
• 선형 모형에서 저차원 프로젝션에 대한 일반적인 준모수적 비편향화 체계 개발 및 분산 특성화.

제안 방법

• 스티븐 잔차 $ \boldsymbol{z}^\top f(\boldsymbol{z}) - \text{div} f(\boldsymbol{z}) $ 의 두 번째 모멘트를 위한 두 번째 차수 항등식 유도 — 스틴 공식을 분산 추정으로 확장.
• 데이터 및 추정량 기울기의 폐쇄형 표현을 사용하여 $ \text{Var}( \text{SURE} - \text{true risk}^2 ) $ 의 비편향 추정량으로 SURE for SURE 제안.
• 두 번째 차수 스틴 공식을 활용해 평균 제곱 오차 추정 시 SURE의 리스크에 대한 상한을 도출.
• 유한 샘플 유효성을 갖는 SURE 기반으로 진짜 리스크에 대한 신뢰 영역을 구성.
• 연속 가능한 초기 추정량에 대해 선형 모형에서 일반적인 비편향화 체계 개발 — 비편향 추정량의 분산은 두 번째 차수 스틴 공식으로 특성화.
• 고차원 설정에서 SURE for SURE의 尾행동을 유한한 상한으로 제어하기 위해 가우시안 농도 및 리프시츠 조건 활용.

실험 결과

연구 질문

• RQ1 SURE의 분산을 비편향으로 추정할 수 있는가? 이를 통해 고차원 추정에서 SURE의 신뢰성 평가가 정확해질 수 있는가?
• RQ2 SURE의 추정 오차의 분포적 행동은 어떻게 되며, 이를 모형 선택 및 추론에 대해 정량화할 수 있는가?
• RQ3 SURE for SURE는 고차원 모형에서 진짜 리스크에 대한 유효한 신뢰 영역을 어떻게 구성할 수 있는가?
• RQ4 약한 정규성 가정 하에서 라소 및 엘라스틱 넷과 같은 SURE 조정 추정량에 대해 유한 샘플 리스크 경계는 무엇인가?
• RQ5 선형 모형에서 저차원 프로젝션에 대해 일반적인 준모수적 비편향화 절차를 구성할 수 있으며, 이때 분산은 두 번째 차수 스틴 공식으로 정량화할 수 있는가?

주요 결과

• SURE for SURE는 SURE와 진짜 추정 리스크 사이의 제곱 거리의 비편향 추정량이며, 데이터 및 추정량 기울기의 간단한 폐쇄형 표현을 가진다.
• 이 방법은 라소가 선택한 모형 크기의 분산에 대한 상한을 제공하며, 일반적으로 볼록 페널티 추정량의 경험적 자유도에 대해서도 적용 가능하다.
• 라소 및 엘라스틱 넷에 대해 SURE for SURE의 명시적 표현을 도출하여 실용적 구현 및 리스크 평가 가능.
• 추정량 기울기의 약한 리프시츠 조건 하에서 SURE 조정 추정량에 대한 오라클 부등식 수립.
• 선형 모형에서 저차원 프로젝션에 대한 일반적인 준모수적 비편향화 체계 제안 — 비편향 추정량의 분산은 두 번째 차수 스틴 공식을 통해 완전히 특성화됨.
• 산란의 가우시안 몬테카를로 근사가 정확하며, 두 번째 차수 스틴 공식을 사용해 이론적 오차 경계가 유도됨.