[논문 리뷰] More powerful post-selection inference, with application to the Lasso

Keli Liu, Jelena Markovic외 1명|arXiv (Cornell University)|2018. 01. 27.

Statistical Methods and Inference참고 문헌 6인용 수 35

한 줄 요약

이 논문은 라소에 대한 사후 선택 추론을 위한 새로운 방법을 제안하며, 유한 표본에서 정확한 커버리지 유지와 함께 신뢰구간의 너비를 줄이기 위해 조건화를 최소화한다. 기존의 TZ_M 및 TZ_Ms와 비교해 훨씬 더 짧은 간격을 제공하는 안정적인 절단-정규분포(TZ) 방법을 도입한다. 특히 모형 위반 또는 분산이 알려지지 않은 경우에 뛰어난 성능을 보인다.

ABSTRACT

Investigators often use the data to generate interesting hypotheses and then perform inference for the generated hypotheses. P-values and confidence intervals must account for this explorative data analysis. A fruitful method for doing so is to condition any inferences on the components of the data used to generate the hypotheses, thus preventing information in those components from being used again. Some currently popular methods "over-condition", leading to wide intervals. We show how to perform the minimal conditioning in a computationally tractable way. In high dimensions, even this minimal conditioning can lead to intervals that are too wide to be useful, suggesting that up to now the cost of hypothesis generation has been underestimated. We show how to generate hypotheses in a strategic manner that sharply reduces the cost of data exploration and results in useful confidence intervals. Our discussion focuses on the problem of post-selection inference after fitting a lasso regression model, but we also outline its extension to a much more general setting.

연구 동기 및 목표

• 데이터 기반 변수 선택으로 인해 기존 방법이 실패하는 고차원 회귀에서 사후 선택 추론 문제를 해결한다.
• 기존 사후 선택 방법에서 발생하는 과도한 조건화 문제를 해결하여 너무 넓어지는 신뢰구간을 방지한다.
• 유한 표본에서의 타당성을 유지하면서도 조건화를 최소화하는 계산적으로 실현 가능한 방법을 개발한다.
• 커버리지 손실 없이 구간 너비를 줄여 추론의 검정력을 향상시키며, 특히 모형 위반 또는 분산이 알려지지 않은 경우에 유리하다.
• 라소를 넘어서 고차원 통계에서 일반적인 사후 선택 추론 문제로 프레임워크를 확장한다.

제안 방법

• TZ_M 및 TZ_Ms와 같은 이전 방법에서 유래된 과도한 조건화를 줄이기 위한 최소 조건화 접근법을 제안한다.
• 테스트 통계량의 분포를 모형 불확실성 하에서 안정화하는 두 가지 새로운 절단-정규분포(TZ) 방법, 즉 TZ_stab-t 및 TZ_stab-ℓ₁을 도입한다.
• 추론을 위해 절단 정규분포 기반 참조 분포를 사용하지만, 선택에 사용된 데이터의 필수 구성 요소에만 집중하도록 조건화를 수정한다.
• 분산 및 튜닝 파라미터 추정 오차에 대한 민감도를 줄이기 위해 테스트 통계량에 안정적인 변환을 적용한다.
• 활동 집합과 선택 이벤트에만 조건화하여 정확한 유한 표본 커버리지를 확보하며, 보조 통계량에 대한 불필요한 조건화를 피한다.
• CDF 역산에서 발생하는 수치적 불안정성으로 인한 무한 길이 간격을 방지하기 위해 수치적 역산 기법을 구현한다.

실험 결과

연구 질문

• RQ1 유한 표본 커버리지 손실 없이 고차원 회귀에서 사후 선택 신뢰구간의 너비를 어떻게 줄일 수 있는가?
• RQ2 TZ_M 및 TZ_Ms와 같은 기존 사후 선택 방법에서의 과도한 조건화가 간격 너비와 통계적 검정력에 어떤 영향을 미치는가?
• RQ3 중요한 오차 분포가 비정규 또는 비대칭일 경우에도 정확한 커버리지를 유지하면서 강건한 방법을 개발할 수 있는가?
• RQ4 분산이 알려지지 않았거나 튜닝 파라미터가 교차검증을 통해 추정될 경우, 새로운 안정적인 절단-정규분포 방법의 성능은 기존 방법과 어떻게 비교되는가?
• RQ5 전략적 가설 생성은 고차원 설정에서 데이터 탐색의 비용을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 안정적인 절단-정규분포 방법(TZ_stab-t 및 TZ_stab-ℓ₁)은 모형 위반 상황에서 TZ_M 및 TZ_Ms보다 훨씬 짧은 신뢰구간을 생성한다.
• 중요한 오차 분포가 무거운 尾(예: t₃ 또는 비대칭 정규분포)일 경우에도 안정적인 방법은 실질적인 커버리지가 명목상 90% 수준에 근접하게 유지되며, TZ_M 및 TZ_Ms의 경우 간격 길이가 증가한다.
• 오차 분산 σ²가 알려지지 않은 상태에서 플러그인 추정을 사용할 경우 TZ_M 및 TZ_Ms의 간격 길이가 크게 증가하지만, 안정적인 방법은 상대적으로 강건하게 유지된다.
• λ가 고정된 튜닝 파라미터가 아닌 10-겹 교차검증을 통해 선택될 경우 TZ_M 및 TZ_Ms의 간격 길이가 극적으로 증가하지만, 안정적인 방법은 영향을 거의 받지 않는다.
• CDF 역산에서 발생하는 수치적 불안정성으로 인한 무한 길이 간격의 비율을 줄여 실용적 사용성을 향상시킨다.
• n=100, p=250이며 비제로 계수 크기가 0.29인 시뮬레이션에서 TZ_stab-t의 중앙값 간격 길이는 TZ_M보다 상당히 짧으며, 모든 시나리오에서 커버리지가 약 0.9 수준을 유지한다.