[논문 리뷰] Bagging in overparameterized learning: Risk characterization and risk monotonization

Pratik Patil, Jin‐Hong Du외 1명|arXiv (Cornell University)|2022. 10. 20.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 과도하게 파rameter화된 환경에서 백드된 예측기의 최적화를 위한 교차검증 프레임워크를 제안하며, 비례 점점 증가하는 점근적 조건 하에서 서브아깅(subagging) 및 스플라깅(splagging) 변형의 점근적 예측 위험을 특성화한다. 이는 교차검증된 백딩이 위험 프로파일을 단조롭게 만들어 이중 내림표현상(double descent)을 제거하면서 전체 데이터 학습을 초월한 일반화 성능을 향상시킴을 증명한다.

ABSTRACT

Bagging is a commonly used ensemble technique in statistics and machine learning to improve the performance of prediction procedures. In this paper, we study the prediction risk of variants of bagged predictors under the proportional asymptotics regime, in which the ratio of the number of features to the number of observations converges to a constant. Specifically, we propose a general strategy to analyze the prediction risk under squared error loss of bagged predictors using classical results on simple random sampling. Specializing the strategy, we derive the exact asymptotic risk of the bagged ridge and ridgeless predictors with an arbitrary number of bags under a well-specified linear model with arbitrary feature covariance matrices and signal vectors. Furthermore, we prescribe a generic cross-validation procedure to select the optimal subsample size for bagging and discuss its utility to eliminate the non-monotonic behavior of the limiting risk in the sample size (i.e., double or multiple descents). In demonstrating the proposed procedure for bagged ridge and ridgeless predictors, we thoroughly investigate the oracle properties of the optimal subsample size and provide an in-depth comparison between different bagging variants.

연구 동기 및 목표

• 비례 점점 증가하는 조건 하에서 백드된 릿지 및 릿지리스 추정기의 점근적 예측 위험을 특성화하기 위해.
• 제한된 위험 프로파일을 단조롭게 만들기 위해 최적의 부분표본 크기를 선택하는 일반적인 교차검증 절차를 개발하기 위해.
• 위험 성능 및 단조성 측면에서 서브아깅(복원추출)과 스플라깅(비복원추출)을 비교하기 위해.
• 제안된 프레임워크 하에서 위험 단조성에 대한 이론적 보장을 수립하기 위해.
• 다양한 백딩 변형에서 최적의 부분표본 크기가 유한 표본에서 오라클 유사 성능을 달성하는지 보여주기 위해.

제안 방법

• 간단 무작위 표본 추출의 고전적 결과를 활용하여 백드된 예측기의 정확한 점근적 위험 표현식을 유도한다.
• 보류된 데이터에서 추정된 예측 위험을 최소화함으로써 교차검증을 통해 최적의 부분표본 크기를 선택한다.
• 서브아깅(복원추출)과 스플라깅(비복원추출)을 별개의 백딩 변형으로 분석한다.
• 위험 표현식을 고도비율 φ = p/n, 특징 공분산, 신호 강도의 함수로 유도한다.
• n, p → ∞ 이면서 p/n → φ 가 되는 비례 점점 증가하는 점근적 영역을 적용한다.
• 다양한 모델(M-ISO-LI, M-AR1-LI)에서 신호대잡음비(SNR)와 특징 구조를 다양하게 설정하여 광범위한 시뮬레이션을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 선형 모델에서 서브아깅 및 스플라깅 릿지 및 릿지리스 추정기의 정확한 점근적 예측 위험은 무엇인가?
• RQ2 표본 크기 또는 고도비율에 따라 점근적 위험을 증명 가능하게 단조롭게 만들 수 있는 교차검증 절차를 설계할 수 있는가?
• RQ3 위험 성능 및 모형 잘못설정에 대한 내성 측면에서 서브아깅과 스플라깅은 어떻게 비교되는가?
• RQ4 교차검증을 통해 선택된 최적의 부분표본 크기가 유한 표본에서 오라클 유사 성능을 달성하는가?
• RQ5 백딩이 일반화 오차에서 이중 내림표현상을 제거하는 조건은 무엇인가?

주요 결과

• 제안된 교차검증 프레임워크는 백드된 예측기의 점근적 위험을 성공적으로 단조롭게 만들며, 이중 내림표현상과 같은 비단조적 행동을 제거한다.
• 복수의 백딩을 적용한 서브아깅은 특히 고차원 환경에서 단일 예측기보다 항상 더 낮은 예측 위험을 기록한다.
• 릿지리스 및 릿지 예측기의 경우, 교차검증을 통해 선택된 최적의 부분표본 크기는 이론적 오라클 성능에 매우 가까운 위험 성능을 달성한다.
• 동일한 조건에서 스플라깅(비복원추출)의 점근적 위험은 서브아깅(복원추출)보다 일반적으로 낮으며, 특히 M이 클 경우 두드러진다.
• 시뮬레이션 결과, 교차검증된 백드된 예측기는 모든 신호대잡음비(SNR) 수준과 특징 상관 구조에서 전체 데이터 추정기보다 뛰어난 성능을 보였다.
• 교차검증된 백드된 예측기의 위험 곡선은 고도비율 φ에 대해 단조롭게 나타나 이론적 예측을 확인한다.