[논문 리뷰] Scalable Uncertainty Quantification via GenerativeBootstrap Sampler

Minsuk Shin, Lu Wang외 1명|arXiv (Cornell University)|2020. 06. 01.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 생성적 부트스트랩 샘플러(GBS)를 제안한다. GBS는 반복적인 부트스트랩 샘플링을 단일 최적화로 대체함으로써 스케일러블한 방법을 제공한다. 데이터 포인트의 가중치에서 부트스트랩 통계량으로의 변환 함수를 학습함으로써, GBS는 선형 회귀, 로지스틱 회귀, 가우시안 프로세스 등 다양한 모델에서 점점 더 높은 정확도를 유지하면서도 수백 배 빠른 계산 속도를 달성한다.

ABSTRACT

It has been believed that the virtue of using statistical procedures is on uncertainty quantification in statistical decisions, and the bootstrap method has been commonly used for this purpose. However, nowadays as the size of data massively increases and statistical models become more complicated, the implementation of bootstrapping turns out to be practically challenging due to its repetitive nature in computation. To overcome this issue, we propose a novel computational procedure called {\it Generative Bootstrap Sampler} (GBS), which constructs a generator function of bootstrap evaluations, and this function transforms the weights on the observed data points to the bootstrap distribution. The GBS is implemented by one single optimization, without repeatedly evaluating the optimizer of bootstrapped loss function as in standard bootstrapping procedures. As a result, the GBS is capable of reducing computational time of bootstrapping by hundreds of folds when the data size is massive. We show that the bootstrapped distribution evaluated by the GBS is asymptotically equivalent to the conventional counterpart and empirically they are indistinguishable. We examine the proposed idea to bootstrap various models such as linear regression, logistic regression, Cox proportional hazard model, and Gaussian process regression model, quantile regression, etc. The results show that the GBS procedure is not only accelerating the computational speed, but it also attains a high level of accuracy to the target bootstrap distribution. Additionally, we apply this idea to accelerate the computation of other repetitive procedures such as bootstrapped cross-validation, tuning parameter selection, and permutation test.

연구 동기 및 목표

• 대규모 데이터 환경에서 기존 부트스트랩의 반복적 최적화 성격으로 인해 계산상 비현실적인 문제를 해결하기 위해.
• 기존 부트스트랩의 통계적 정밀도를 유지하면서도 계산 비용을 극적으로 줄이는 스케일러블한 대안을 개발하기 위해.
• 코ックス 비례 위험 모델 및 가우시안 프로세스 회귀와 같은 복잡한 모델에서 효율적인 불확실성 정량화를 가능하게 하기 위해.
• 부트스트랩된 교차검증 및 순열 검정과 같은 다른 반복적인 통계 절차의 가속화를 위해 방법을 확장하기 위해.

제안 방법

• GBS는 데이터 포인트의 가중치에서 부트스트랩 통계량으로의 변환을 수행하는 생성 함수를 도입하여 반복적인 최적화를 피한다.
• 생성 함수는 단일 최적화 절차를 통해 데이터 가중치와 부트스트랩 결과 간의 기능적 관계를 학습한다.
• 딥러닝을 활용해 데이터 가중치에서 부트스트랩 추정치로의 비선형 맵핑을 모델링함으로써 빠른 추론을 가능하게 한다.
• 생성 함수는 경험적 부트스트랩 분포를 근사하도록 학습되어, 기존 부트스트랩과 渐近적 등가성을 확보한다.
• 관심 있는 손실 함수에 대해 생성 함수를 훈련한 후, 학습된 분포에서 샘플링함으로써 다양한 모델에 적용한다.
• 재사용 가능한 학습된 생성 함수를 통해 부트스트랩된 교차검증 및 튜닝 파rameter 선택과 같은 다른 반복 절차로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 단일 최적화 절차로 반복적 부트스트랩을 대체할 수 있을까? 이때 통계적 정확도는 유지되는가?
• RQ2 대규모 데이터셋에서 GBS의 계산 효율성은 기존 부트스트랩과 비교해 어떻게 되는가?
• RQ3 GBS로 생성된 분포가 기존 부트스트랩 분포와 얼마나 渐近적으로 등가인가?
• RQ4 GBS는 코克斯 비례 위험 모델 및 가우시안 프로세스 회귀와 같은 복잡한 모델에 효과적으로 적용될 수 있는가?
• RQ5 GBS 프레임워크는 순열 검정 및 교차검증과 같은 다른 반복적인 통계 절차의 가속화에 확장될 수 있는가?

주요 결과

• GBS는 대규모 데이터셋에서 부트스트랩의 계산 시간을 최대 수백 배까지 줄여 계산 확장성에 크게 기여한다.
• GBS가 생성한 부트스트랩 분포는 기존 부트스트랩과 渐近적으로 등가성이 확보되어 있어 통계적 타당성이 보장된다.
• 실험 결과, GBS로 생성된 분포는 실무에서 표준 부트스트랩 분포와 구분되지 않는 것으로 나타났다.
• 선형 회귀, 로지스틱 회귀, 코ックス 모델, 가우시안 프로세스 회귀 등 다양한 모델에서 높은 정확도를 달성했다.
• GBS는 부트스트랩된 교차검증, 튜닝 파rameter 선택, 순열 검정과 같은 다른 반복 절차의 가속화에 성공적으로 적용되었다.
• 생성 함수는 데이터 가중치에서 부트스트랩 통계량으로의 복잡한 맵핑을 효과적으로 포착하여, 신속하고 신뢰할 수 있는 불확실성 정량화를 가능하게 했다.