[논문 리뷰] A Bootstrap Lasso + Partial Ridge Method to Construct Confidence Intervals for Parameters in High-dimensional Sparse Linear Models

Hanzhong Liu, Xin Xu외 1명|arXiv (Cornell University)|2017. 06. 07.

Statistical Methods and Inference참고 문헌 42인용 수 15

한 줄 요약

이 논문은 고차원 희박 선형 모델에서 계수에 대한 신뢰구간을 구축하기 위해 부트스트랩 라소+부분리지드(이하 LPR) 방법을 제안한다. 이는 기존 방법이 약한 또는 위반된 beta-min 조건 하에서 가지는 한계를 해결한다. 기존의 디스파서피드 라소와 비교해 커버리지 확률을 50% 향상시키고, 신뢰구간 길이를 35% 단축시킨다. 특히 작은 비영이지만 비영인 계수에서 뛰어난 성능을 보인다.

ABSTRACT

Constructing confidence intervals for the coefficients of high-dimensional sparse linear models remains a challenge, mainly because of the complicated limiting distributions of the widely used estimators, such as the lasso. Several methods have been developed for constructing such intervals. Bootstrap lasso+ols is notable for its technical simplicity, good interpretability, and performance that is comparable with that of other more complicated methods. However, bootstrap lasso+ols depends on the beta-min assumption, a theoretic criterion that is often violated in practice. Thus, we introduce a new method, called bootstrap lasso+partial ridge, to relax this assumption. Lasso+partial ridge is a two-stage estimator. First, the lasso is used to select features. Then, the partial ridge is used to refit the coefficients. Simulation results show that bootstrap lasso+partial ridge outperforms bootstrap lasso+ols when there exist small, but nonzero coefficients, a common situation that violates the beta-min assumption. For such coefficients, the confidence intervals constructed using bootstrap lasso+partial ridge have, on average, $50\%$ larger coverage probabilities than those of bootstrap lasso+ols. Bootstrap lasso+partial ridge also has, on average, $35\%$ shorter confidence interval lengths than those of the de-sparsified lasso methods, regardless of whether the linear models are misspecified. Additionally, we provide theoretical guarantees for bootstrap lasso+partial ridge under appropriate conditions, and implement it in the R package "HDCI."

연구 동기 및 목표

• 기존 방법이 복잡한 점근 분포를 가지는 경우 실패하는 고차원 희박 선형 모델에서 계수에 대한 신뢰구간을 신뢰성 있게 구축하는 데 도전한다.
• 부트스트랩 라소+OLS가 요구하는 제한적인 beta-min 조건을 극복한다. 실제로 작은 비영이지만 비영인 계수가 존재할 경우 이 조건은 자주 실패한다.
• 모델가설이 잘못되었거나 작은 영향이 존재할 경우에도 높은 커버리지 확률과 짧은 신뢰구간 길이를 유지하는 방법을 개발한다.
• 실제 응용 분야(예: 유전체학)에 적합한 계산이 단순하고 해석 가능하며 병렬 처리가 가능한 추론 절차를 제공한다.
• 모델가설이 잘못되었을 경우에도 강건성을 보이며, 실제 데이터(예: 유전자 발현 연구)에서 작은 생물학적으로 의미 있는 영향을 효과적으로 탐지한다.

제안 방법

• 1단계에서 라소를 사용해 모델 선택을 수행하고 활성 예측변수를 식별한다.
• 2단계에서 선택된 모델에 대해 부분리지 회귀를 적용해 계수를 재적합함으로써 분산을 줄이고 추정 안정성을 향상시킨다.
• 두 단계 추정량을 비모수적 부트스트랩과 조합하여 계수의 표본분포를 근사한다.
• 라소+부분리지드 추정량의 백분위수 기반 부트스트랩 분위수를 통해 신뢰구간을 구축한다.
• 리지 회귀의 편향 감소 성질을 활용해, 희박성 조건이 약하거나 작은 비영인 계수 존재 시 추론 성능을 향상시킨다.
• 실용적 사용과 재현 가능성을 위해 R 패키지 'HDCI'에 이 방법을 구현한다.

실험 결과

연구 질문

• RQ1 라소와 부분리지의 이중단계 추정량이 약한 beta-min 조건 하에서 부트스트랩 라소+OLS보다 커버리지 확률과 구간 길이를 개선할 수 있는가?
• RQ2 작은 비영이지만 비영인 계수 존재 시 부트스트랩 라소+부분리지드 방법의 커버리지 확률과 구간 길이는 어떻게 되는가?
• RQ3 특히 고차원 설정에서 모델가설이 잘못되었을 경우, 제안된 방법은 여전히 양호한 성능을 보이는가?
• RQ4 진짜 모델이 잘못되었을 경우, 이 방법은 디스파서피드 라소와 비교해 구간 길이와 커버리지에서 어떻게 성능을 내는가?
• RQ5 실제 응용(예: 유전자 발현 분석)에서 작은 생물학적으로 의미 있는 계수를 효과적으로 식별할 수 있는가?

주요 결과

• 부트스트랩 라소+부분리지드 방법은, beta-min 조건을 위반하는 작은 비영이지만 비영인 계수에 대해 부트스트랩 라소+OLS보다 평균적으로 50% 높은 커버리지 확률을 달성한다.
• 모델가설이 잘못되었는지 여부와 관계없이, 이 방법은 디스파서피드 라소보다 평균적으로 35% 짧은 신뢰구간을 생성한다.
• 실제 fMRI 데이터 응용에서, 이 방법은 세 가지 디스파서피드 라소 방법보다 생물학적으로 더 해석 가능한 유전자를 식별했다. 이는 모델가설이 잘못되었을 경우에도 강건함을 시사한다.
• 작은 비영이지만 유의미한 계수를 탐지하는 데 부트스트랩 라소+OLS보다 뛰어나, 미세한 조절 효과를 가지는 기능적으로 중요한 유전자를 식별하는 데 적합하다.
• 모든 희박 모델에 대해 균일하게 유효하지는 않지만, 이 방법은 해석 가능성과 계산의 단순성에서 강력한 실증 성능과 실용적 이점을 보인다.
• 이 방법은 특히 유전체학 및 생물학적 시스템에서 흔한 작은 비영인 계수를 식별하고자 할 때 특히 효과적이며, 큰 효과만을 탐지하는 데서 벗어나 있다.