[논문 리뷰] High-dimensional simultaneous inference with the bootstrap

Ruben Dezeure, Peter Bühlmann외 1명|arXiv (Cornell University)|2016. 06. 13.

Statistical Methods and Inference참고 문헌 39인용 수 8

한 줄 요약

이 논문은 비정규성과 이방성 오차를 가진 고차원 선형 모델에 대해 잔차와 야생 부트스트랩 방법을 제안하며, 기본적으로 탈스파arsed Lasso를 사용한다. 희박성과 그룹 크기 제약 조건 하에서 동시 추론에 대해 점점 더 일관된 결과를 도출하며, $ p \gg n $ 인 고차원 설정에서 강력하고 계산적으로 실현 가능한 신뢰구간과 다중 검정 조정을 제공한다.

ABSTRACT

We propose a residual and wild bootstrap methodology for individual and simultaneous inference in high-dimensional linear models with possibly non-Gaussian and heteroscedastic errors. We establish asymptotic consistency for simultaneous inference for parameters in groups $G$, where $p \gg n$, $s_0 = o(n^{1/2}/\{\log(p) \log(|G|)^{1/2}\})$ and $\log(|G|) = o(n^{1/7})$, with $p$ the number of variables, $n$ the sample size and $s_0$ denoting the sparsity. The theory is complemented by many empirical results. Our proposed procedures are implemented in the R-package hdi.

연구 동기 및 목표

• 비정규성과 이방성 오차를 가진 고차원 선형 모델에서 신뢰할 수 있는 추론 방법의 부족을 해결한다.
• 기본 Lasso 기반 추론에서 유래하는 초효율성 편향을 피하는 부트스트랩 기반 접근법을 개발한다.
• 고차원 점근적 설정에서 $ p \gg n $ 인 조건 하에서 변수 그룹에 대한 동시 추론을 가능하게 한다.
• 약한 희박성과 그룹 크기 제약 조건 하에서 개인 및 동시 추론에 대해 이론적 일관성을 확립한다.
• 실제 고차원 데이터 분석에 활용 가능한 실용적이고 계산적으로 효율적인 방법을 제공한다.

제안 방법

• 논문은 탈스파arsed Lasso 추정량을 부트스트랩하는 방법을 제안하며, 이는 약한 희박성 하에서 점근적으로 정규분포를 따르고 효율적인 일반적인 비희박 추정량이다.
• 잔차 부트스트랩과 야생 부트스트랩 방식을 사용하여 탈스파arsed Lasso의 표본 분포를 근사하며, 이방성 오차가 존재할 경우 야생 부트스트랩이 더 선호된다.
• 고정 설계 하에서 한 번만 계산되는 잔차 벡터 $ Z_1, \dots, Z_p $ 에 대해 부트스트랩 샘플링을 적용하여 계산 오버헤드를 최소화한다.
• 이론적 일관성은 조건 $ s_0 = o(n^{1/2}/\{\log(p)\log(|G|)^{1/2}\}) $ 과 $ \log(|G|) = o(n^{1/7}) $ 하에서 확립되며, 여기서 $ s_0 $ 는 희박성, $ G $ 는 변수의 그룹을 의미한다.
• 다중 검정 조정은 부트스트랩 기반 p-값을 통해 달성되며, 이는 많은 귀무가설에 대한 동시 오류 통제를 가능하게 한다.
• 구현는 R 패키지 hdi (Meier 등, 2016)에 통합되어 있으며, 고차원 데이터 분석에서의 실용적 활용을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 $ p \gg n $ 이고 비정규성, 이방성 오차를 가진 고차원 선형 모델에서 신뢰할 수 있는 동시 추론을 달성할 수 있는가?
• RQ2 이방성 조건 하에서 어떤 부트스트랩 방법—잔차 또는 야생—이 일관된 추론을 제공하며, 왜 하나가 다른 것보다 선호되는가?
• RQ3 탈스파arsed Lasso의 부트스트랩은 직접 Lasso 기반 추론에서 발생하는 초효율성 현상을 피할 수 있는가?
• RQ4 희박성 $ s_0 $ 와 그룹 크기 $ |G| $ 에 대한 이론적 조건이 동시 추론의 타당성에 어떻게 영향을 미치는가?
• RQ5 기존 대안들과 비교해 볼 때 제안된 부트스트랩 방법의 계산 가능성과 실증적 성능은 어떠한가?

주요 결과

• 제안된 부트스트랩 방법은 $ s_0 = o(n^{1/2}/\{\log(p)\log(|G|)^{1/2}\}) $ 과 $ \log(|G|) = o(n^{1/7}) $ 조건 하에서, $ p \gg n $ 인 경우에도 동시 추론에 대해 점점 더 일관된 결과를 도출한다.
• 야생 부트스트랩은 이방성 오차 하에서도 일관되며, 잔차 부트스트랩은 이 조건에서 실패하므로, 이방성 오차 상황에서 강력한 추론을 위해 야생 부트스트랩이 선호된다.
• 희박한 Lasso가 아닌 탈스파arsed Lasso를 부트스트랩함으로써 초효율성 현상을 피할 수 있으며, 이는 더 신뢰할 수 있는 신뢰구간과 p-값을 이끌어낸다.
• 실증 결과는 비정규성과 이방성 오차 조건 하에서 기존 방법들과 비교해 다중 검정 조정 및 동시 커버리지 측면에서 뛰어난 성능을 보였다.
• 부트스트랩의 계산 비용은 관리 가능하며, 특히 고정 설계 하에서는 탈스파arsed Lasso 자체를 계산하는 것보다 크게 증가하지 않는다.
• 이 절차들은 R 패키지 hdi (Meier 등, 2016)에 구현되어 있어 실제 고차원 데이터 세트에 대한 실용적 적용이 가능하다.