[논문 리뷰] Estimation and Inference for High Dimensional Generalized Linear Models: A Splitting and Smoothing Approach

Zhe Fei, Yi Li|arXiv (Cornell University)|2019. 03. 11.

Statistical Methods and Inference참고 문헌 24인용 수 12

한 줄 요약

이 논문은 고차원 일반선형모형(GLMs)에 대해 계산적으로 효율적인 '분할 및 스무딩' 방법을 제안한다. 이 방법은 데이터 분할을 통해 유효한 추론을 가능하게 하며, 한 부분에서는 변수 선택을 수행하고 다른 부분에서는 저차원 추정을 실시한 후, 다수의 분할에 걸쳐 평균을 내어 추정치를 스무딩한다. 이 방법은 고차원 정밀행렬 추정이 필요 없이 점차적 정규성과 정확한 신뢰구간 커버리지를 달성한다.

ABSTRACT

The focus of modern biomedical studies has gradually shifted to explanation and estimation of joint effects of high dimensional predictors on disease risks. Quantifying uncertainty in these estimates may provide valuable insight into prevention strategies or treatment decisions for both patients and physicians. High dimensional inference, including confidence intervals and hypothesis testing, has sparked much interest. While much work has been done in the linear regression setting, there is lack of literature on inference for high dimensional generalized linear models. We propose a novel and computationally feasible method, which accommodates a variety of outcome types, including normal, binomial, and Poisson data. We use a "splitting and smoothing" approach, which splits samples into two parts, performs variable selection using one part and conducts partial regression with the other part. Averaging the estimates over multiple random splits, we obtain the smoothed estimates, which are numerically stable. We show that the estimates are consistent, asymptotically normal, and construct confidence intervals with proper coverage probabilities for all predictors. We examine the finite sample performance of our method by comparing it with the existing methods and applying it to analyze a lung cancer cohort study.

연구 동기 및 목표

• 이진 또는 카운트 데이터와 같은 복잡한 결과에 대해 신뢰할 수 있는 추론 방법이 부족한 문제를 해결한다.
• 큰 정밀행렬의 역행렬 계산이나 엄격한 튜닝 파rameter 선택에 의존하는 기존 방법의 계산 및 기술적 과제를 극복한다.
• 고차원 희박성 조건 하에서 유효한 신뢰구간과 가설 검정이 보장되며, 커버리지 확률이 정확한 방법을 개발한다.
• 다양한 무작위 데이터 분할에 걸쳐 평균을 내어 추정치의 안정성과 효율성을 향상시키고, 선택 및 분할에 기인한 변동성을 줄인다.
• 실제 생물의학 데이터, 예를 들어 폐암에서의 SNP 및 유전자 상호작용 연구에 적용 가능하게 하여, 희박성 조건 하에서도 강건한 추론을 보장한다.

제안 방법

• 데이터셋을 두 부분으로 무작위로 분할한다: 하나는 변수 선택용, 다른 하나는 추정용.
• 첫 번째 부분을 사용해 변수 선택(예: LASSO를 통해)을 수행하여 중요 변수를 식별하고 차원을 감소시킨다.
• 두 번째 부분에서 선택된 변수(또는 그렇지 않은 변수)를 순차적으로 추가하여 저차원 GLM을 피팅하여 각 변수의 계수를 추정한다.
• 분할 및 추정 과정을 B번 반복한 후, 얻어진 계수 추정치를 평균내어 스무딩된 안정된 추정치를 도출한다.
• 분할 및 선택의 변동성을 고려하기 위해 무한소 잭나이프 방법을 적용해 강건한 분산 추정치를 도출한다.
• 스무딩된 추정치와 그 분산-공분산 행렬을 사용해 신뢰구간을 구성하고 가설 검정을 수행하며, 온건한 조건 하에서 정확한 커버리지를 확보한다.

실험 결과

연구 질문

• RQ1 고차원 정밀행렬 추정이 필요 없이 계산적으로 실현 가능한 고차원 GLMs의 추론을 위한 방법을 개발할 수 있는가?
• RQ2 분할 및 스무딩 접근법은 희박성 조건 하에서 점차적 정규성 추정치와 유효한 신뢰구간을 제공하는가?
• RQ3 기존의 탈희박화 LASSO 및 선택 후 추론 방법과 비교해 유한 표본에서 이 방법의 성능은 어떠한가?
• RQ4 유전 epidemiology에서의 SNP-흡연 상호작용과 같은 복잡한 상호작용을 신뢰할 수 있는 추론으로 다룰 수 있는가?
• RQ5 희박성 가정이 약간만 만족되거나 부분적으로 위반될 경우, 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 SSGLM 방법은 고차원 설정에서도 점차적 정규성과 정확한 신뢰구간 커버리지 확률을 달성한다.
• 폐암 코hort 연구에서 SSGLM를 사용한 모델 2는 기준 모델(R² = 0.0938)보다 질병 상태의 변동성을 25% 더 잘 설명했으며(R² = 0.1168), 탈희박화 LASSO 방법(R² = 0.1018)보다도 뛰어난 성능을 보였다.
• SSGLM 기반 모델의 AUC(0.69)는 탈희박화 LASSO 모델(0.668)보다 높아, 더 우수한 분류 성능을 나타낸다.
• SNP rs3117582에 대해 이 방법은 폐암과의 유의미한 연관성이 없음을 발견(p-value = 0.97)하여, 이전에 모순되는 보고를 해결했다.
• 데이터 분할 및 저차원 GLM 피팅을 병렬화할 수 있어 계산 효율성이 뛰어나다.
• 무한소 잭나이프 분산 추정치는 파rametric 가정 없이 정확한 추론을 제공했으며, 안정성과 강건성 면에서 배깅과 유사한 성능을 보였다.