[논문 리뷰] Confidence regions for high-dimensional generalized linear models under sparsity

Jana Janková, Sara van de Geer|arXiv (Cornell University)|2016. 10. 05.

Statistical Methods and Inference참고 문헌 9인용 수 16

한 줄 요약

이 논문은 희박성 조건 하에서 고차원 일반선형모형에서 저차원 매개변수에 대한 편향 보정 및 탈희박화된 추정기(_estimator)를 제안하며, 미분 가능하지 않은 손실 함수(예: 분위수, Huber, 힌지 손실)에 대해서도 점점 정규분포로 수렴하는 추론과 타당한 신뢰영역을 가능하게 한다. 이는 새로운 역피셔 정보 추정기와 엔트로피 기반의 규칙성 조건을 통해 균일한 타당성을 확보하여 가설 검정 및 신뢰구간에 응용된다.

ABSTRACT

We study asymptotically normal estimation and confidence regions for low-dimensional parameters in high-dimensional sparse models. Our approach is based on the $\ell_1$-penalized M-estimator which is used for construction of a bias corrected estimator. We show that the proposed estimator is asymptotically normal, under a sparsity assumption on the high-dimensional parameter, smoothness conditions on the expected loss and an entropy condition. This leads to uniformly valid confidence regions and hypothesis testing for low-dimensional parameters. The present approach is different in that it allows for treatment of loss functions that we not sufficiently differentiable, such as quantile loss, Huber loss or hinge loss functions. We also provide new results for estimation of the inverse Fisher information matrix, which is necessary for the construction of the proposed estimator. We formulate our results for general models under high-level conditions, but investigate these conditions in detail for generalized linear models and provide mild sufficient conditions. As particular examples, we investigate the case of quantile loss and Huber loss in linear regression and demonstrate the performance of the estimators in a simulation study and on real datasets from genome-wide association studies. We further investigate the case of logistic regression and illustrate the performance of the estimator on simulated and real data.

연구 동기 및 목표

• 고차원 희박 모형에서 저차원 매개변수에 대해 균일하게 타당한 신뢰영역과 가설 검정을 개발하는 것.
• 기존의 미분 가능 손실 함수에 한정된 점점 정규분포로 수렴하는 추론을 분위수, Huber, 힌지 손실과 같은 비미분 가능 손실 함수로 확장하는 것.
• Lasso 기반의 편향 보정 추정기를 구축하여 미묘한 규칙성 조건과 엔트로피 조건 하에서 점점 정규분포로 수렴하는 것을 달성하는 것.
• 고차원 환경에서 분산 추정에 필요한 역피셔 정보 행렬을 위한 새로운 추정기 제공.
• 실제 및 시뮬레이션 데이터를 통한 실증적 검증을 통해 초고차원 설계의 전장 유전자 연관 분석(GWAS)과 같은 응용에 적용하는 것.

제안 방법

• 희박성과 변수 선택을 달성하기 위해 초기 추정기로 L1-정규화된 M-추정기를 사용한다.
• 정규화에 의해 유도된 추정 편향을 제거하기 위해 Lasso 추정기에 편향 보정을 적용한다.
• 희박성, 손실 함수의 매끄러움, 엔트로피 조건 하에서 탈편향된 추정기의 점점 정규분포 수렴성을 도출한다.
• 교차검증 없이도 역피셔 정보 행렬을 추정하기 위해 노드와이즈 제곱근 Lasso 절차를 도입한다.
• 고차원 추론에서 오류율을 제어하기 위해 다중검정 조정(보프레니-홀름 및 벤자민-호크베르그)을 적용한다.
• 일반선형모형에 이 프레임워크를 적용하며, 분위수 및 Huber 손실이 포함된 선형 회귀와 로지스틱 회귀를 포함한다.

실험 결과

연구 질문

• RQ1 희박성 조건 하에서 고차원 일반선형모형에서 저차원 매개변수에 대해 타당한 신뢰영역을 구성할 수 있는가?
• RQ2 분위수 또는 Huber 손실과 같은 비미분 가능 손실 함수에 기반한 추정기에서 점점 정규분포로 수렴하는 것은 어떻게 달성할 수 있는가?
• RQ3 고차원 모형에서 추론의 균일한 타당성을 보장하기 위한 충분한 규칙성 및 엔트로피 조건은 무엇인가?
• RQ4 조정 파rameter 선택 없이도 고차원 환경에서 역피셔 정보 행렬을 일관되게 추정할 수 있는가?
• RQ5 실제 초고차원 데이터(예: 전장 유전자 연관 분석)에서 탈희박화된 추정기는 실제로 얼마나 잘 작동하는가?

주요 결과

• 탈희박화된 추정기는 희박성, 손실 함수의 매끄러움, 엔트로피 조건 하에서 점점 정규분포로 수렴하며, 이는 타당한 신뢰영역을 가능하게 한다.
• 이 방법은 기존의 M-추정이론에서 제외되는 비미분 가능 손실 함수인 분위수, Huber, 힌지 손실을 효과적으로 다룰 수 있다.
• 6033개 유전자와 102명의 샘플을 포함한 전립선암 데이터셋에서 탈희박화된 로지스틱 Lasso는 유전자 515번을 유의미하게 식별했다(계수 추정치: -2.4677), 임계값을 초과한 후 추가로 유전자 4639번과 5503번도 유의미하게 나타났다.
• 4088개 유전자와 72명의 샘플을 포함한 전장 유전자 연관 분석에서 탈희박화된 LAD 추정기는 보프레니-홀름 조정 하에서 RPSB_at(p-value 0.05)와 YCEI_at(지표 0.14)를 유의미하게 식별했다.
• 다중검정 조정은 초고차원 환경에서 많은 가설을 다루는 데서 예상되는 바와 같이 보수적인 결과를 낳았으며, 유의미한 유전자 수가 적게 도출되었다.
• 역피셔 정보 행렬에 대한 노드와이즈 제곱근 Lasso 추정기는 교차검증을 피하고도 실용적으로 잘 작동한다.