[논문 리뷰] Bootstrapping and Sample Splitting For High-Dimensional, Assumption-Free Inference

Alessandro Rinaldo, Larry Wasserman외 2명|arXiv (Cornell University)|2016. 11. 16.

Statistical Methods and Inference참고 문헌 47인용 수 23

한 줄 요약

이 논문은 고차원 회귀에서 선형성 또는 희박성 가정 없이 유효한 신뢰구간을 제공하는 표본 분할 및 부트스트랩 기반 방법을 제안한다. 선형성 또는 희박성 가정이 필요 없이 유효한 신뢰구간을 제공하며, 특히 진짜 모형이 잘못 지정된 경우 표준 회귀 계수보다 더 해석 가능하고 정확도가 높은 LOCO(Leave-Out-COvariates) 매개수를 도입한다.

ABSTRACT

Several new methods have been proposed for performing valid inference after model selection. An older method is sampling splitting: use part of the data for model selection and part for inference. In this paper we revisit sample splitting combined with the bootstrap (or the Normal approximation). We show that this leads to a simple, assumption-free approach to inference and we establish results on the accuracy of the method. In fact, we find new bounds on the accuracy of the bootstrap and the Normal approximation for general nonlinear parameters with increasing dimension which we then use to assess the accuracy of regression inference. We show that an alternative, called the image bootstrap, has higher coverage accuracy at the cost of more computation. We define new parameters that measure variable importance and that can be inferred with greater accuracy than the usual regression coefficients. There is a inference-prediction tradeoff: splitting increases the accuracy and robustness of inference but can decrease the accuracy of the predictions.

연구 동기 및 목표

• 진짜 모형이 알려져 있지 않거나 비선형일 때 고차원 회귀에 대해 강건하고 가정 없는 추론 프레임워크를 개발하는 것.
• 약한 모형 가정 하에서 표준 회귀 계수의 한계를 해결하는 것.
• 고차원 환경에서 변수 중요도를 더 잘 반영하는 더 해석 가능한 신규 매개수—LOCO 매개수—를 제안하는 것.
• 모형 선택에서 예측 정확도와 추론 정확도 사이의 상호 상충 관계를 정량화하는 것.
• 증가하는 차원에서 비선형 매개수에 대한 부트스트랩과 정규 근사의 정확도에 대한 새로운 이론적 경계를 수립하는 것.

제안 방법

• 표본 분할 사용: 데이터를 학습 세트와 추론 세트로 나누어 모형 선택과 추론을 분리한다.
• 선택된 모형의 매개수 추정치에 대해 추론 세트에서 부트스트랩 또는 정규 근사를 적용하여 유효한 신뢰구간을 확보한다.
• 각 공변량을 한 번씩 제외했을 때의 최적 선형 예측기의 계수로 LOCO 매개수를 정의하여 해석 가능성과 추정 정확도를 향상시킨다.
• 고차원 환경에서 비선형 기능에 대한 부트스트랩과 정규 근사의 정확도에 대한 새로운 비점근적 경계를 수립한다.
• 계산 비용은 높지만 더 정확한 부트스트랩의 변종인 이미지 부트스트랩(이미지 부트스트랩)을 사용하여 신뢰구간의 커버리지 정확도를 향상시킨다.
• 선택된 변수 수에 대한 사전 지정된 상한값 $k$를 통해 모형 크기를 통제하여 약한 가정 하에서도 이론적 제어를 확보한다.

실험 결과

연구 질문

• RQ1 표본 분할과 부트스트랩을 조합하여 선형성 또는 희박성 가정 없이 고차원 회귀에서 유효한 가정 없는 신뢰구간을 얻을 수 있는가?
• RQ2 고차원이고 잘못 지정된 모형에서 표준 회귀 계수와 LOCO 매개수에 대해 부트스트랩과 정규 근사의 정확도는 어떻게 비교되는가?
• RQ3 표본 분할을 사용할 때 예측 정확도와 추론 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ4 약한 모형 가정 하에서 표준 회귀 계수보다 더 해석 가능하고 정확도가 높은 새로운 매개수를 정의할 수 있는가?
• RQ5 차원이 증가할 때 비선형 매개수에 대한 부트스트랩과 정규 근사의 정확도에 대한 이론적 경계는 무엇인가?

주요 결과

• 이 방법은 선형성 가정이 없이도 고차원 회귀에서 가정 없는 강건한 신뢰구간을 제공하며, 진짜 회귀 함수가 선형일 필요가 없다.
• LOCO 매개수는 특히 선형 모형이 잘못 지정된 경우 표준 회귀 계수보다 더 정확하게 추정됨이 입증되었다.
• 고차원에서 표준 회귀 계수에 대해 정규 근사는 성능이 열 劣하지만, LOCO 매개수에 대해서는 성능이 양호하다.
• 이미지 부트스트랩을 통해 부트스트랩의 커버리지 정확도를 향상시킬 수 있지만, 계산 비용이 높다.
• 표본 분할 없이 프로젝션 매개수의 법칙을 일관되게 추정할 수 없으며, 이는 유효한 추론을 위해 데이터 분할의 필수성을 강조한다.
• 차원이 증가하는 고차원 환경에서 비선형 기능에 대한 부트스트랩과 정규 근사의 정확도에 대한 새로운 비점근적 경계가 수립되었으며, 이는 차원과 표본 크기에 따라 명시적인 수렴 속도를 포함한다.