[논문 리뷰] Uniformly Valid Post-Regularization Confidence Regions for Many Functional Parameters in Z-Estimation Framework

Alexandre Belloni, Victor Chernozhukov외 2명|arXiv (Cornell University)|2015. 12. 23.

Statistical Methods and Inference참고 문헌 34인용 수 13

한 줄 요약

이 논문은 표본 크기 $n$보다 크게 초과할 수 있는 많은 수의 기능적 파라미터에 대해 고차원 Z-추정 모델에서 균일하게 타당한 동시 신뢰구간을 개발한다. 수많은 기능적 파라미터에 대해 $\tilde{p} \gg n$ 조건을 만족할 수 있도록, 고차원 최적화 문제를 반복적으로 해결하지 않고도, 수직화된 점수 함수에 대한 승수 부트스트랩을 사용하여 신뢰구간을 구성한다. 이는 약한 규칙성 조건 하에서도 균일한 타당성을 확보하며, 기능적 로지스틱 회귀와 같은 모델에서 전체 조건부 분포 함수에 대한 추론을 가능하게 한다.

ABSTRACT

In this paper we develop procedures to construct simultaneous confidence bands for $ ilde p$ potentially infinite-dimensional parameters after model selection for general moment condition models where $ ilde p$ is potentially much larger than the sample size of available data, $n$. This allows us to cover settings with functional response data where each of the $ ilde p$ parameters is a function. The procedure is based on the construction of score functions that satisfy certain orthogonality condition. The proposed simultaneous confidence bands rely on uniform central limit theorems for high-dimensional vectors (and not on Donsker arguments as we allow for $ ilde p \gg n$). To construct the bands, we employ a multiplier bootstrap procedure which is computationally efficient as it only involves resampling the estimated score functions (and does not require resolving the high-dimensional optimization problems). We formally apply the general theory to inference on regression coefficient process in the distribution regression model with a logistic link, where two implementations are analyzed in detail. Simulations and an application to real data are provided to help illustrate the applicability of the results.

연구 동기 및 목표

• 모델 선택 이후 고차원 모델에서 많은 기능적 파라미터에 대한 균일하게 타당한 추론 절차의 부족을 해결하기 위해.
• 모멘트 조건 모델에서 $\tilde{p} \gg n$ 조건 하에, 무한차원 대상도 포함된 연속적인 파라미터의 동시 신뢰구간을 구성하기 위해.
• 예측 변수의 전체 조건부 분포를 추론하기 위해 기능적 회귀 모델(예: 로지스틱 링크를 사용한 분포 회귀)을 활용하기 위해.
• 반복적인 고차원 최적화 문제를 해결하지 않고도 계산이 효율적인 방법을 개발하기 위해.
• 고차원 부수적 파라미터에 대해 약한 모멘트 및 희박성 조건 하에서 승수 부트스트랩의 이론적 타당성을 확립하기 위해.

제안 방법

• 부수적 파라미터 추정 오차에 대해 강건성을 확보하기 위해, 네이만 수직성 조건을 만족하는 수직화된 점수 함수를 구성한다.
• 반복적인 고차원 최적화 문제 해결을 피하기 위해, 오직 추정된 점수 함수만을 재표본화하는 승수 부트스트랩 절차를 활용한다.
• 고차원 벡터에 대한 균일한 중심극한정리(도른스커 유형의 추론이 아닌)를 사용하여 $\tilde{p} \gg n$ 조건 하에서 점근적 정규성을 정당화한다.
• 거리 엔트로피 적분을 통한 복잡도 제어를 활용하여 함수 클래스 위에서 경험 과정의 Supremum을 제한한다.
• 두 단계 추정 전략을 구현: 먼저 Lasso 또는 포스트-Lasso를 통해 고차원 부수적 파라미터를 추정하고, 이후 잔차화된 점수 함수를 사용하여 신뢰구간을 구성한다.
• 승수 부트스트랩 임계값을 사용하여 $u \in \mathcal{U}$ 및 $j \in [\tilde{p}]$ 에 대해 전체 파라미터 과정 $\theta_{uj}$ 에 대한 균일한 신뢰구간을 유도한다.

실험 결과

연구 질문

• RQ1 고차원 모델에서 $\tilde{p} \gg n$ 조건을 만족할 경우, 많은 수의 기능적 파라미터에 대해 균일하게 타당한 동시 신뢰구간을 구성할 수 있는가?
• RQ2 파라미터 수가 표본 크기보다 많을 경우, 모델 선택 이후에도 추론의 타당성을 어떻게 보장할 수 있는가?
• RQ3 기능적 파라미터에 대한 선택 후 추론에서 반복적인 고차원 최적화 문제를 피할 수 있는가?
• RQ4 Z-추정 프레임워크에서 고차원 벡터 과정에 대해 승수 부트스트랩의 점근적 타당성을 보장하는 조건은 무엇인가?
• RQ5 분포 회귀 모델에서 스칼라 파라미터의 추론을 전체 기능적 파라미터 과정으로 어떻게 확장할 수 있는가?

주요 결과

• 제안된 방법은 약한 규칙성 및 희박성 조건 하에서 $\tilde{p} \gg n$ 조건을 만족하는 고차원 모델에서도 $\tilde{p}$ 개의 기능적 파라미터에 대해 균일하게 타당한 동시 신뢰구간을 구성할 수 있다.
• 승수 부트스트랩 절차는 계산이 효율적이며, 반복적인 최적화 문제 해결을 피하기 위해 오직 추정된 점수 함수의 재표본화만을 요구한다.
• 많은 확률 측도의 클래스 $\mathcal{P}_n$ 에 대해 균일한 타당성을 확보하여, 신뢰구간의 커버리지 확률이 균일하게 명목 수준에 가까워진다.
• 복잡도 제어를 위한 거리 엔트로피 적분의 경계를 통해 이론적 보장을 확립하였으며, 이는 파라미터 공간의 복잡도가 $\tilde{p}$, $n$, 그리고 희박성 수준 $k$ 에 의해 제어됨을 보여준다.
• 이 방법은 평균이나 분위수 기능 외에도 전체 조건부 분포 함수에 대한 추론에 적용 가능하며, 로지스틱 분포 회귀 모델에서 특히 유용하다.
• 핵심 기술적 결과는 거리 엔트로피 및 대칭화 추론을 활용하여 유도된 고차원 벡터에 대한 균일한 중심극한정리로, $\tilde{p} \gg n$ 조건 하에서 성립한다.