[논문 리뷰] Post-selection inference for L1-penalized likelihood models

Jonathan Taylor, Robert Tibshirani|arXiv (Cornell University)|2016. 02. 24.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 일반선형모형 외에도 일반화된 선형모형, 코ックス 회귀, 그래픽 라소를 포함한 ℓ₁-벌점화된 우도 모형을 위한 사후 선택 추론 방법을 제안한다. 일단의 뉴턴-라프슨 추정량을 도입하여 LASSO 선택 조건 하에서 점차적으로 타당한 p-값과 신뢰구간을 제공하며, MCMC 샘플링을 피하고 이전 연구에서 발견된 이차 잔여항 문제를 개선한다.

ABSTRACT

We present a new method for post-selection inference for L1 (lasso)-penalized likelihood models, including generalized regression models. Our approach generalizes the post-selection framework presented in Lee et al (2014). The method provides p-values and confidence intervals that are asymptotically valid, conditional on the inherent selection done by the lasso. We present applications of this work to (regularized) logistic regression, Cox's proportional hazards model and the graphical lasso.

연구 동기 및 목표

• ℓ₁-벌점화된 우도 모형을 사용한 모형 선택 이후의 타당한 통계적 추론 방법을 개발하기 위해.
• 가우시안 회귀에서의 사후 선택 추론 프레임워크를 일반선형모형과 생존모형으로 확장하기 위해.
• MCMC 기반 추론에 대한 계산적으로 효율적이고 닫힌 형태의 대안을 제공하기 위해.
• 이전 접근법에서 추론 정확도에 영향을 주는 이차 잔여항의 한계를 해결하기 위해.
• LASSO에 의해 유도된 선택 편향을 고려하면서도 선택된 계수에 대한 추론을 가능하게 하기 위해.

제안 방법

• LASSO 피팅 이후 선택된 모형에 대해 일단의 뉴턴-라프슨 추정량을 적용하여, 이는 사후-LASSO 최대우도추정량과 점차적으로 동일하다.
• LASSO의 활성집합 조건 하에서 선택적 추론 프레임워크를 사용하며, 가우시안 설정에서 단층 한계를 유도하기 위해 다각형 렘마를 활용한다.
• 선택된 모형에 대한 적절한 스코어 함수와 피셔 정보를 유도함으로써 일반선형모형에 이 방법을 적용한다.
• 부분우도를 사용하고 선택된 모형에서 스코어 및 정보행렬을 추정함으로써 코ックス 비례위험 모형에 이 방법을 적응시킨다.
• 정밀도 행렬에 대한 우도의 헤시안을 유도함으로써 그래픽 라소로 프레임워크를 확장한다.
• 선택 이벤트 조건 하에서 검정통계량의 분포를 조건화함으로써 추론 전략을 구현하며, 이는 점차적으로 타당한 결과를 보장한다.

실험 결과

연구 질문

• RQ1 가우시안 선형모형에서의 사후 선택 추론을 ℓ₁-벌점화된 우도 모형, 예를 들어 로지스틱 회귀 및 코ックス 회귀로 신뢰성 있게 확장할 수 있는가?
• RQ2 MCMC 샘플링에 의존하지 않고 LASSO 선택 이후에 타당한 p-값과 신뢰구간을 어떻게 구성할 수 있는가?
• RQ3 사후 선택 추론에서 이차 잔여항의 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 일단의 추정량이 비가우시안 모형, 예를 들어 그래픽 라소에서 점차적으로 타당한 추론을 제공할 수 있는가?
• RQ5 노이즈 예측변수를 추가했을 때 이 방법은 어떻게 작동하며, 이러한 설정에서 난이도 추론과 비교해 볼 때 어떻게 성능을 보이는가?

주요 결과

• 제안된 일단의 추정량은 로지스틱 회귀 및 코ックス 모형을 포함한 ℓ₁-벌점화된 모형에 대해 점차적으로 타당한 p-값과 신뢰구간을 제공한다.
• 남아프리카 공화국 심장병 데이터에서, 노이즈 예측변수를 추가했을 때 난이도 p-값은 조정된 p-값보다 상당히 작았지만, 제안된 방법은 타입 I 오류 통제를 정확히 유지하였다.
• 단백질 신호전달 데이터의 경우, 방법은 Mek-P38 상호작용 하나만 유의미하게 식별하였고 p-값은 0.005였으며, 나머지는 유의미하지 않았다. 이는 선택적 추론 정확도를 보여준다.
• 이 방법은 MCMC 샘플링을 피하고 닫힌 형태로 추론를 계산하므로, 이전의 Tian과 Taylor(2015)와 같은 접근법보다 계산적으로 효율적이다.
• 이 방법은 고차원 설정에 대해 강건하며, 예측변수의 수가 표본 크기를 초과하는 경우에도 정확한 커버리지 유지가 가능하다. 시뮬레이션과 실제 데이터 응용에서 이를 입증하였다.
• 이 방법은 CRAN에 공개된 R 패키지 selectiveInference에 구현되어 있어, 적용 연구에서 재현 가능하고 접근하기 쉬운 사용을 가능하게 한다.