[논문 리뷰] Tractable Post-Selection Maximum Likelihood Inference for the Lasso

Amit Meir, Mathias Drton|arXiv (Cornell University)|2017. 05. 26.

Statistical Methods and Inference참고 문헌 41인용 수 5

한 줄 요약

이 논문은 라소를 통해 선택된 고차원 선형 모델에서의 추정 가능하고 타당한 후선택 최대우도 추정을 위한 확률적 최적화 프레임워크를 제안한다. 후선택 점수 함수의 편향이 없는 노이즈 있는 추정치를 생성함으로써, 이 방법은 일관된 추정과 근사 명목 수준의 커버리지 달성을 위한 타당한 신뢰구간을 가능하게 하며, 희박한 설정에서 표준 라소 및 재적합 최소제곱보다 뛰어난 성능을 보인다.

ABSTRACT

Applying standard statistical methods after model selection may yield inefficient estimators and hypothesis tests that fail to achieve nominal type-I error rates. The main issue is the fact that the post-selection distribution of the data differs from the original distribution. In particular, the observed data is constrained to lie in a subset of the original sample space that is determined by the selected model. This often makes the post-selection likelihood of the observed data intractable and maximum likelihood inference difficult. In this work, we get around the intractable likelihood by generating noisy unbiased estimates of the post-selection score function and using them in a stochastic ascent algorithm that yields correct post-selection maximum likelihood estimates. We apply the proposed technique to the problem of estimating linear models selected by the lasso. In an asymptotic analysis the resulting estimates are shown to be consistent for the selected parameters and to have a limiting truncated normal distribution. Confidence intervals constructed based on the asymptotic distribution obtain close to nominal coverage rates in all simulation settings considered, and the point estimates are shown to be superior to the lasso estimates when the true model is sparse.

연구 동기 및 목표

• 모델 선택 이후의 잘못된 추론 문제, 특히 라소를 사용한 고차원 설정에서의 근본적인 과제를 해결하기 위해.
• 라소 회귀에서 선택 이벤트를 고려한 최대우도 추정치를 계산하기 위한 계산적으로 타당한 방법을 개발하기 위해.
• 선택 편향을 보정함으로써 정확한 커버리지 비율을 갖는 신뢰구간을 구축하기 위해.
• 일반화선형모형을 포함한 지수족 분포 모델에까지 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 선택 이후의 우도 함수를 추정하기 위해, 후선택 점수 함수의 노이즈가 있는 편향 없는 추정치를 기반으로 한 확률적 상승법을 사용하여 최대우도 추정치를 계산한다.
• 선택 이벤트에 의해 정의된 무작위 다면체 영역에 데이터가 제약을 받기 때문에, 후선택 우도가 계산이 불가능하다는 사실을 활용한다.
• 노이즈를 통제한 몬테카를로 샘플링을 통해 점수 함수를 추정함으로써, 진짜 후선택 MLE로의 수렴이 가능해진다.
• 정규 조건 하에 점차적으로 타당해지며, 추정치는 점차적으로 잘린 정규분포로 수렴한다.
• 신뢰구간은 추정치의 점근적 분포를 기반으로 구성되며, 정확한 커버리지가 보장된다.
• 일관되고 편향 없는 점수 추정치를 사용하는 확률적 경사상승 알고리즘을 통해 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 선택 이벤트가 고려된 후선택 우도가 계산이 불가능한 상황에서도, 라소에 의한 모델 선택 이후에 유효한 최대우도 추정치를 계산할 수 있는가?
• RQ2 제안된 확률적 최적화 방법은 후선택 샘플링 하에서 일관되고 점근적으로 정규분포를 따르는 추정치를 제공하는가?
• RQ3 유의미한 커버리지 비율과 크기 측면에서, 결과적으로 도출된 신뢰구간은 표준 조정 없는 구간과 어떻게 비교되는가?
• RQ4 이 방법은 가우시안 선형 회귀를 초월하여 다른 지수족 분포 모델로도 확장 가능한가?

주요 결과

• 제안된 조건부 최대우도 추정치는 선택된 모델의 매개변수에 대해 일관되며, 점차적으로 잘린 정규분포를 따르게 된다.
• 점근적 분포를 기반으로 한 신뢰구간은 모든 시뮬레이션 설정에서 약 95%의 커버리지 비율을 달성하지만, 조정되지 않은 구간은 상당히 반보수적인 성향을 보인다.
• 진짜 모델이 희박한 경우, 점추정치는 표준 라소 및 재적합 최소제곱보다 예측 정확도에서 뛰어난 성능을 보인다.
• 조건부-와ルド 구간은 다면체 구간보다 훨씬 짧고 변동성이 적지만, 유사한 커버리지 비율을 유지한다.
• 이 방법은 많은 수의 공변수를 포함하는 경우에도 계산적으로 실현 가능하여, 고차원 설정에서 실용적인 후선택 추론을 가능하게 한다.