[논문 리뷰] Perturbation Bootstrap in Adaptive Lasso

Debraj Das, Karl Gregory외 1명|arXiv (Cornell University)|2017. 03. 09.

Statistical Methods and Inference참고 문헌 24인용 수 3

한 줄 요약

이 논문은 모형 차원이 표본 크기와 함께 증가하는 고차원 설정에서 Adaptive Lasso(Alasso)에 대해 두 번째 차수 정확도를 달성하는 수정된 펄럭션 부트스트랩 방법을 제안한다. Minnier 등(2011)의 난이한 펄럭션 부트스트랩은 고차수 편향을 보정하지 못하므로 실패하는 반면, 저자들은 부트스트랩 목적 함수를 수정하고 스터디언타이제이션을 사용하여 Alasso 추정량의 분포 근사가 정확해지도록 보장한다. 이는 오라클 정규 근사보다 유의미하게 높은 추론 정확도를 제공한다.

ABSTRACT

The Adaptive Lasso(Alasso) was proposed by Zou [ extit{J. Amer. Statist. Assoc. extbf{101} (2006) 1418-1429}] as a modification of the Lasso for the purpose of simultaneous variable selection and estimation of the parameters in a linear regression model. Zou (2006) established that the Alasso estimator is variable-selection consistent as well as asymptotically Normal in the indices corresponding to the nonzero regression coefficients in certain fixed-dimensional settings. In an influential paper, Minnier, Tian and Cai [ extit{J. Amer. Statist. Assoc. extbf{106} (2011) 1371-1382}] proposed a perturbation bootstrap method and established its distributional consistency for the Alasso estimator in the fixed-dimensional setting. In this paper, however, we show that this (naive) perturbation bootstrap fails to achieve second order correctness in approximating the distribution of the Alasso estimator. We propose a modification to the perturbation bootstrap objective function and show that a suitably studentized version of our modified perturbation bootstrap Alasso estimator achieves second-order correctness even when the dimension of the model is allowed to grow to infinity with the sample size. As a consequence, inferences based on the modified perturbation bootstrap will be more accurate than the inferences based on the oracle Normal approximation. We give simulation studies demonstrating good finite-sample properties of our modified perturbation bootstrap method as well as an illustration of our method on a real data set.

연구 동기 및 목표

• 고차원 설정에서 Adaptive Lasso 추정량의 두 번째 차수 정확도를 달성하는 데 실패하는 난이한 펄럭션 부트스트랩의 한계를 해결하기 위해.
• 예측 변수 수가 표본 크기와 함께 증가할 때 Alasso 추정량의 유한 표본 분포를 정확히 근사하는 계산 효율성이 높은 부트스트랩 방법을 개발하기 위해.
• 희박한 고차원 선형 모형에서 비영인 회귀 계수에 대한 추론을 위한 오라클 정규 근사의 개선된 대안을 제공하기 위해.
• 발산하는 차원성을 允허하는 약한 정규성 조건 하에서 이론적 보증—특히 두 번째 차수 정확도—을 확립하기 위해.

제안 방법

• Alasso 추정량의 편향을 보정하기 위해 부트스트랩 손실 함수에 보정된 펚치 항을 통합함으로써 Alasso 추정량의 편향을 보정하는 수정된 펄럭션 부트스트랩 목적 함수를 제안한다.
• 진짜 표본 분포와 渐近적으로 동일한 분포를 가지도록 보장하기 위해 수정된 부트스트랩 추정량의 스터디언타이제이션된 형태를 도입한다.
• 에지워스 전개 기법과 고차수 점근 이론을 사용하여 부트스트랩 분포가 진짜 표본 분포로 수렴하는 속도를 분석한다.
• 테일러 전개와 마틴갈 유사 추론 기법을 사용하여 고차원 점근 이론 하에서 부트스트랩 분산과 펫치 항의 추정 오차를 통제한다.
• 호프딩 및 버니스티의 부등식을 적용하여 약한 모멘트 조건 하에서 부트스트랩 통계량에 대한 균일한 농도 경계를 확립한다.
• 수정된 부트스트랩과 진짜 표본 분포의 에지워스 전개가 $ o(n^{-1}) $ 차수까지 동일함을 도출함으로써 두 번째 차수 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 Minnier 등(2011)의 난이한 펄럭션 부트스트랩 방법은 고차원 설정에서 Adaptive Lasso 추정량의 분포 근사를 두 번째 차수 정확도로 달성하는가?
• RQ2 모형 차원이 표본 크기와 함께 증가할 때, 두 번째 차수 정확도를 달성할 수 있도록 수정된 펄럭션 부트스트랩 목적 함수를 구성할 수 있는가?
• RQ3 유한 표본에서 수정된 부트스트랩의 성능은 오라클 정규 근사와 비교해 어떻게 되는가?
• RQ4 수정된 부트스트랩이 고차원 선형 모형에서 두 번째 차수 정확도를 달성하는 데 필요한 이론적 조건은 무엇인가?

주요 결과

• 표본 크기가 고정된 설정에서도, 펫치 항으로 인한 보정되지 않은 편향으로 인해 난이한 펄럭션 부트스트랩은 Adaptive Lasso 추정량의 분포 근사를 두 번째 차수 정확도로 달성하지 못한다.
• 제안된 수정된 펄럭션 부트스트랩 목적 함수는 예측 변수 수가 표본 크기와 함께 증가하는 상황에서도 분포 근사에서 두 번째 차수 정확도를 달성한다.
• 적절하게 스터디언타이제이션된 수정된 부트스트랩 추정량은 에지워스 전개에서 $ o(n^{-1}) $ 항까지 Alasso 추정량의 유한 표본 분포를 재현하며, 추론 정확도를 향상시킨다.
• 시뮬레이션 연구 결과, 수정된 부트스트랩은 좋은 유한 표본 성능을 보이며, 오라클 정규 근사 기반 결과보다 명목 수준에 더 가까운 커버리지 확률을 제공한다.
• 이 방법은 계산적으로 효율적이며 고차원 설정에 적용 가능하므로, 비영인 회귀 계수에 대한 추론에서 점근 정규 근사의 실용적 대안이 될 수 있다.
• 이론적 결과는 수정된 부트스트랩 분포가 진짜 표본 분포로 같은 속도로 수렴하며, $ o(n^{-1}) $ 차수까지 에지워스 전개가 일치함을 확인함으로써, 이 방법이 추론에 활용될 수 있음을 검증한다.