[논문 리뷰] A Revisit to De-biased Lasso for Generalized Linear Models

Lu Xia, Bin Nan외 1명|arXiv (Cornell University)|2020. 06. 23.

Statistical Methods and Inference참고 문헌 37인용 수 8

한 줄 요약

이 논문은 일반화선형모형(GLMs)에서의 비편향 라소를 재검토하며, 표준 방법이 역피셔정보행렬의 희박성 가정을 위반함으로써 실패한다는 점을 밝혀낸다. 저자들은 희박성 가정을 하지 않고 헤시안 행렬을 직접 역행렬화함으로써 개선된 비편향 추정량을 제안하며, 점근정규성을 입증하고 시뮬레이션 및 실데이터 분석에서 더 나은 신뢰구간 커버리지 성능을 보여준다.

ABSTRACT

De-biased lasso has emerged as a popular tool to draw statistical inference for high-dimensional regression models. However, simulations indicate that for generalized linear models (GLMs), de-biased lasso inadequately removes biases and yields unreliable confidence intervals. This motivates us to scrutinize the application of de-biased lasso in high-dimensional GLMs. When $p >n$, we detect that a key sparsity condition on the inverse information matrix generally does not hold in a GLM setting, which likely explains the subpar performance of de-biased lasso. Even in a less challenging "large $n$, diverging $p$" scenario, we find that de-biased lasso and the maximum likelihood method often yield confidence intervals with unsatisfactory coverage probabilities. In this scenario, we examine an alternative approach for further bias correction by directly inverting the Hessian matrix without imposing the matrix sparsity assumption. We establish the asymptotic distributions of any linear combinations of the resulting estimates, which lay the theoretical groundwork for drawing inference. Simulations show that this refined de-biased estimator performs well in removing biases and yields an honest confidence interval coverage. We illustrate the method by analyzing a prospective hospital-based Boston Lung Cancer Study, a large scale epidemiology cohort investigating the joint effects of genetic variants on lung cancer risk.

연구 동기 및 목표

• 고차원 일반화선형모형(GLMs)에서 비편향 라소의 열악한 성능, 특히 편향된 추정치와 신뢰도 없는 신뢰구간을 규명하는 것.
• GLMs 설정에서 비편향 라소의 실패 원인을 분석하며, 특히 역피셔정보행렬의 희박성 가정이 성립하지 않는다는 점을 중심으로 분석하는 것.
• 직접 헤시안 행렬을 역행렬화함으로써 희박성 가정을 피하는 새로운 비편향 추정량을 개발하는 것.
• 유효한 통계적 추론을 위해 선형 조합의 점근정규성을 입증하는 것.
• 시뮬레이션과 대규모 유전(epidemiology) 연구(보스턴 폐암 연구)의 실세계 적용을 통해 방법의 타당성을 검증하는 것.

제안 방법

• 추정방정식의 헤시안 행렬을 직접 역행렬화함으로써 역정보행렬의 희박성 가정을 회피하는 개선된 비편향 라소 추정량을 제안한다.
• 헤시안 행렬 기반의 보정 보정을 통해 임의의 계수 선형조합에 대한 점근정규 추정량을 구성한다.
• 모멘트 유계 및 스코어 함수의 리프시츠 연속성 등의 규칙성 조건 하에 제안된 추정량의 점근정규성을 이론적으로 입증한다.
• 이차 전개와 슬러츠테오리움을 활용해 비편향 추정량의 점근분포를 유도하며, 유효한 추론을 보장한다.
• 다양한 부트스트랩 또는 분산 추정 절차를 적용하여 적절한 커버리지 성능을 갖는 신뢰구간을 구성한다.
• ‘큰 p, 작은 n’ 및 ‘큰 n, 발산하는 p’ 상황에서의 시뮬레이션을 통해 성능을 검증하며, 커버리지 확률과 편향 감소 정도를 비교한다.

실험 결과

연구 질문

• RQ1 표준 비편향 라소가 고차원 일반화선형모형에서 편향을 충분히 제거하지 못하는 이유는 무엇인가?
• RQ2 GLM 설정에서 역피셔정보행렬의 희박성 가정이 성립하는가? 만약 성립하지 않는다면, 이 가정의 위반은 추론에 어떤 영향을 미치는가?
• RQ3 직접 헤시안 행렬을 역행렬화하는 비편향 추정량이 기존 방법보다 편향과 신뢰구간 커버리지 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 새로운 추정량이 점근정규성을 확보하고 유효한 추론을 가능하게 하는 이론적 조건은 무엇인가?
• RQ5 제안된 방법은 보스턴 폐암 연구와 같은 실세계 고차원 유전 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• 표준 비편향 라소는 역피셔정보행렬의 희박성 가정이 거의 항상 성립하지 않기 때문에 GLMs에서 실패한다. 이는 공변수의 정밀행렬이 희박할지라도 성립하지 않는다는 점에서 주목할 만하다.
• 시뮬레이션 결과, 기존 비편향 라소는 특히 ‘큰 n, 발산하는 p’ 설정에서 명목 수준보다 훨씬 낮은 커버리지 확률을 보이며, 신뢰구간의 신뢰도가 떨어진다.
• 제안된 헤시안 기반 비편향 추정량은 시뮬레이션에서 명목 수준에 매우 가까운 커버리지 성능을 확보하며, 상당한 향상을 이룬다.
• 새로운 방법은 추정 편향을 효과적으로 줄이며, 원래 비편향 라소 대비 편향/표준오차 비율이 훨씬 0에 가까워진다.
• 이론적 분석을 통해 선형 조합의 점근정규성이 확인되어 유효한 추론을 위한 견고한 기반을 확보한다.
• 보스턴 폐암 연구에서 제안된 방법은 폐암 위험에 대한 유전자 상호작용 효과를 신뢰할 수 있는 추론을 바탕으로 성공적으로 규명하였다. 이는 실용적 유용성을 입증한다.