[논문 리뷰] A Unified Theory of Confidence Regions and Testing for High Dimensional Estimating Equations

Matey Neykov, Ning Yang외 2명|arXiv (Cornell University)|2015. 10. 30.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 추정 방정식으로 정의된 고차원 모형에서 신뢰 영역을 구성하고 가설 검정을 수행하기 위한 가능도 자유 추론 프레임워크를 제안한다. 대규모 선형 프로그래밍을 통해 피팅된 추정 방정식을 희소 방향으로 투영함으로써, 전체 가능도 사양이 필요로 하지 않는 고차원 문제에 대한 타당한 추론을 가능하게 하는 통합 Z-추정 이론을 수립한다. 이는 노이즈가 있는 압축 센싱, 도구 변수 회귀, 그래프 모형, 그리고 벡터 자기회귀 모형 등 다양한 상황에 적용 가능하다.

ABSTRACT

We propose a new inferential framework for constructing confidence regions and testing hypotheses in statistical models specified by a system of high dimensional estimating equations. We construct an influence function by projecting the fitted estimating equations to a sparse direction obtained by solving a large-scale linear program. Our main theoretical contribution is to establish a unified Z-estimation theory of confidence regions for high dimensional problems. Different from existing methods, all of which require the specification of the likelihood or pseudo-likelihood, our framework is likelihood-free. As a result, our approach provides valid inference for a broad class of high dimensional constrained estimating equation problems, which are not covered by existing methods. Such examples include, noisy compressed sensing, instrumental variable regression, undirected graphical models, discriminant analysis and vector autoregressive models. We present detailed theoretical results for all these examples. Finally, we conduct thorough numerical simulations, and a real dataset analysis to back up the developed theoretical results.

연구 동기 및 목표

• 차원 d가 표본 크기 n을 초과할 때 추정 방정식으로 정의된 고차원 모형에 대해 타당한 추론 방법이 부족한 문제를 해결한다.
• 전체 분포 가정이 필요한 기존 가능도 기반 방법의 한계를 극복한다.
• 넓은 범주에 걸친 고차원 제약이 있는 추정 방정식 문제에 적용 가능한 통합 프레임워크를 개발한다.
• 도구 변수, 그래프 모형, 벡터 자기회귀 모형과 같은 모형에서 관심 있는 매개변수에 대한 정규화 이후 추론을 가능하게 한다.
• 완전한 가능도 구조를 가정하지 않고도 최소한의 모멘트 조건 하에서 신뢰 영역과 가설 검정의 이론적 보장을 확립한다.

제안 방법

• 고차원 추정 방정식 기반의 Z-추정 프레임워크를 통해 추론를 수립한다.
• 대규모 선형 프로그래밍을 풀어 얻은 희소 방향으로 추정 방정식을 투영함으로써 영향 함수를 구성한다.
• Dantzig-선택기 유사 제약 조건을 사용하여 매개변수 추정치의 희소성을 확보한다: ℓ1 노름 최소화, 조건은 ∥t(Z,β)∥∞ ≤ λ.
• 정규성 조건 하에서 영향 함수의 점근적 정규성을 도출함으로써 신뢰 영역 구성이 가능해진다.
• 집중 불등식과 난수 행렬 이론을 활용하여 추정 오차를 통제하고 영향 함수의 일致성을 확보한다.
• 균일 수렴과 추정 오차의 희소성 기반 바ounds를 통해 신뢰 영역과 가설 검정의 이론적 타당성을 확립한다.

실험 결과

연구 질문

• RQ1 완전한 가능도 모형을 가정하지 않고도 고차원 매개변수에 대해 타당한 신뢰 영역을 구성할 수 있는가?
• RQ2 예를 들어 도구 변수나 그래프 모형과 같은 순간 조건으로 정의된 고차원 모형에서 어떻게 일致된 추론을 수행할 수 있는가?
• RQ3 고차원 환경에서 영향 함수를 구성하기 위해 추정 방정식의 희소 투영을 사용하는 데 이론적 근거는 무엇인가?
• RQ4 d ≫ n 이고 진짜 매개변수가 희소할 때, 제안된 방법이 어떻게 타당한 커버리지 확보를 유지하는가?
• RQ5 압축 센싱, IV 회귀, 그리고 벡터 자기회귀 모형과 같은 다양한 모형에 대해 모델 특화 가능도 가정 없이 이 프레임워크를 통일적으로 적용할 수 있는가?

주요 결과

• 제안된 방법은 미약한 모멘트 조건 하에서 영향 함수의 점근적 정규성을 달성하여 고차원 매개변수에 대해 타당한 신뢰 영역을 가능하게 한다.
• 이 프레임워크는 노이즈가 있는 압축 센싱, 도구 변수 회귀, 무향 그래프 모형, 판별 분석, 그리고 벡터 자기회귀 모형을 포함한 광범위한 모형 클래스에 대해 타당한 추론을 제공한다.
• 희소성과 제한된 고유값 유사 조건 하에서 이론적 보장을 확립하여 추정치와 영향 함수의 수렴을 보장한다.
• 적절한 정규성 조건 하에서 경험적 추정 방정식이 기대값으로 수렴하는 것을 보장하며, 오차 범위는 O(√(log d / n)) 스케일링을 따른다.
• 수치 시뮬레이션과 실제 데이터 분석을 통해 이 방법의 경험적 타당성과 다양한 고차원 환경에서의 강건성을 확인하였다.
• 이 접근법은 가능도 기반 접근이 아니며, 오직 순간 조건만 요구하므로 전체 가능도가 계산이 어려운 경우나 잘못 지정된 경우에도 적용 가능하다.