[논문 리뷰] Selective inference with unknown variance via the square-root LASSO

Xiaoying Tian, Joshua R. Loftus외 1명|arXiv (Cornell University)|2015. 04. 29.

Statistical Methods and Inference참고 문헌 12인용 수 16

한 줄 요약

이 논문은 오차 분산 $σ^2$ 가 알려져 있지 않은 경우에도 모델 선택 이후 회귀 계수, 그들의 신뢰구간, 그리고 오차 분산 $σ^2$ 를 동시에 추정할 수 있는 선택적 추론 프레임워크를 제안한다. 이 방법은 제곱근 LASSO의 척도 불변 조정 성질을 활용하여 알려지지 않은 잡음 수준에 의존하지 않으며, 이로 인해 타당한 p값과 신뢰구간을 제공한다. 시뮬레이션 결과 기존 방법들과 비교해 더 뛰어난 분산 추정 성능과 강건한 FDR 제어 성능을 보였다.

ABSTRACT

There has been much recent work on inference after model selection when the noise level is known, however, $σ$ is rarely known in practice and its estimation is difficult in high-dimensional settings. In this work we propose using the square-root LASSO (also known as the scaled LASSO) to perform selective inference for the coefficients and the noise level simultaneously. The square-root LASSO has the property that choosing a reasonable tuning parameter is scale-free, namely it does not depend on the noise level in the data. We provide valid p-values and confidence intervals for the coefficients after selection, and estimates for model specific variance. Our estimates perform better than other estimates of $σ^2$ in simulation.

연구 동기 및 목표

• 오차 분산 $σ^2$ 가 알려져 있지 않고 추정하기 어려운 고차원 회귀에서 선택적 추론의 과제를 해결하기 위해.
• 모델 선택 이후 회귀 계수에 대한 추론과 오차 분산 $σ^2$ 를 동시에 수행하는 방법을 개발하기 위해.
• 데이터 기반 모델 선택을 고려한 타당한 통계적 추론(검정값, 신뢰구간)을 보장하기 위해, $σ^2$ 가 알려져 있지 않은 경우에도.
• Sun & Zhang (2011) 및 Reid 등 (2013)과 같은 기존 방법들과 비교해 $σ^2$ 추정 정확도를 향상시키기 위해.
• 모델 선택 하에서 다중 검정 시나리오에서 강건한 가짜 발견률(FDR) 제어를 가능하게 하기 위해.

제안 방법

• 제곱근 LASSO를 모델 선택 절차로 사용하며, 이는 척도 불변 성질 덕분에 오차 수준 $σ^2$ 와 무관한 조정 파라미터 $λ$ 를 가진다.
• 선택 이벤트를 기술하고 선택적 추론 프레임워크를 정의하기 위해 제곱근 LASSO의 카라슈-쿤-터커(KKT) 조건을 유도한다.
• Fithian 등 (2014)의 선택적 추론 프레임워크를 적용하여 선택된 모델과 부호 조건 하에서 타당한 p값과 신뢰구간을 구성한다.
• 시험 통계량의 선택적 분포 하에서의 분포를 $σ_P^2(y)$ 를 통해 추정한 분산을 사용하여 잘린 정규분포 또는 t분포로 근사한다.
• 귀무가설 하에서 부차적인 성질을 가지는 잔차 벡터 $U_{-E}(y)$ 를 사용하여 회귀 진단 및 적합도 검정을 수행한다.
• 유도된 p값에 대해 Benjamini-Hochberg 절차를 적용하여 다중 가설 검정에서의 FDR 제어를 수행한다.

실험 결과

연구 질문

• RQ1 오차 분산 $σ^2$ 가 알려져 있지 않고 모델 선택에 사용된 동일한 데이터로부터 추정되어야 할 경우, 선택적 추론을 신뢰성 있게 수행할 수 있는가?
• RQ2 제곱근 LASSO는 $σ^2$ 와 무관한 조정을 통해 계수와 $σ^2$ 에 대한 타당한 추론을 동시에 가능하게 하는가?
• RQ3 고차원 설정에서 기존 분산 추정기들과 비교해 정확도와 강건성 측면에서 본 논문의 방법은 어떻게 성능을 보이는가?
• RQ4 유도된 p값은 모델 선택 하에서 다중 검정에서 효과적인 FDR 제어를 지원할 수 있는가?
• RQ5 조정 파라미터 $λ$ 와 설계 상관도 $ρ$ 의 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 $σ^2$ 가 알려져 있지 않은 경우에도 모델 선택 이후 회귀 계수에 대한 타당한 p값과 신뢰구간을 생성한다.
• 제곱근 LASSO의 조정 파라미터 $λ$ 는 $σ^2$ 와 무관하여 안정적이고 척도 불변인 모델 선택을 가능하게 한다.
• 시뮬레이션 결과 기존 방법들(예: Sun & Zhang, 2011; Reid 등, 2013)과 비교해 $σ^2$ 를 더 정확하게 추정한다.
• 모든 테스트된 $ρ$ 값에서 FDR 제어가 강건하며, FDR이 약 0.2 수준을 유지한다.
• 특히 고상관도 설계 하에서 Barber & Candes (2016)의 절차보다 약 20% 높은 통계적 검정력(유의력)을 달성한다.
• 정규분포 근사를 기반으로 한 신뢰구간의 커버리지율은 명목 수준에 매우 가까운데(예: 95% 구간은 94.7%의 비율로 참값을 포함함), 이는 근사의 타당성을 뒷받침한다.