[논문 리뷰] Efficient Bayesian Learning Curve Extrapolation using Prior-Data Fitted Networks

Steven Adriænsen, Herilalaina Rakotoarison외 2명|arXiv (Cornell University)|2023. 10. 31.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 베이지안 학습 곡선 외삽을 위한 사전-데이터에 적합한 네트워크(PFN)의 첫 응용인 LC-PFN을 소개한다. 매개수적 사전 분포에서 유도된 시뮬레이션 오른쪽 절단 학습 곡선에 기반한 트랜스포머 기반 PFN을 훈련시켜 MCMC보다 10,000배 이상 빠른 속도를 달성하면서도 더 정확한 확률적 예측을 제공하며, 다양한 아키텍처와 데이터셋으로부터 유래한 20,000개의 실제 학습 곡선에 대해 강력한 일반화 성능을 보이며, 2–6배의 빠른 초기 정지 기준을 가능하게 한다.

ABSTRACT

Learning curve extrapolation aims to predict model performance in later epochs of training, based on the performance in earlier epochs. In this work, we argue that, while the inherent uncertainty in the extrapolation of learning curves warrants a Bayesian approach, existing methods are (i) overly restrictive, and/or (ii) computationally expensive. We describe the first application of prior-data fitted neural networks (PFNs) in this context. A PFN is a transformer, pre-trained on data generated from a prior, to perform approximate Bayesian inference in a single forward pass. We propose LC-PFN, a PFN trained to extrapolate 10 million artificial right-censored learning curves generated from a parametric prior proposed in prior art using MCMC. We demonstrate that LC-PFN can approximate the posterior predictive distribution more accurately than MCMC, while being over 10 000 times faster. We also show that the same LC-PFN achieves competitive performance extrapolating a total of 20 000 real learning curves from four learning curve benchmarks (LCBench, NAS-Bench-201, Taskset, and PD1) that stem from training a wide range of model architectures (MLPs, CNNs, RNNs, and Transformers) on 53 different datasets with varying input modalities (tabular, image, text, and protein data). Finally, we investigate its potential in the context of model selection and find that a simple LC-PFN based predictive early stopping criterion obtains 2 - 6x speed-ups on 45 of these datasets, at virtually no overhead.

연구 동기 및 목표

• 기존의 베이지안 학습 곡선 외삽 방법의 한계를 해결하기 위해, 이는 너무 제한적이거나 계산적으로 비효율적이다.
• 사전-데이터에 적합한 네트워크(PFN)를 학습 곡선 외삽에 처음으로 적용할 수 있는지의 타당성과 효과성을 탐색한다.
• 알려진 사전 분포에서 유도된 시뮬레이션 곡선과 실제 세계의 학습 곡선에 대해 LC-PFN의 성능을 평가한다.
• 하이퍼파ram터 최적화를 위한 초기 정지 기준에 LC-PFN을 통합하여 실용적 유용성을 입증한다.
• LC-PFN 프레임워크의 코드, 데이터, 모델을 공개하여 재현 가능성을 보장한다.

제안 방법

• LC-PFN은 MCMC 샘플링을 통해 매개수적 사전 분포에서 유도된 인공적인 오른쪽 절단 학습 곡선에 기반한 트랜스포머 기반 신경망이다.
• PFN은 단일 순방향 전파를 통해 학습 곡선에 대한 사후 예측 분포(PPD)를 근사함으로써 빠른 베이지안 추론을 가능하게 한다.
• 모델은 사전 조건 하에 부분적인 훈련 데이터를 바탕으로 향후 성능 분포 전체를 예측하도록 훈련된다.
• LC-PFN은 시뮬레이션 및 실제 학습 곡선 벤치마크에서 MCMC 기반 사후 예측 근사와 비교 평가된다.
• LC-PFN의 예측 불확실성을 기반으로 세밀한 초기 정지 기준이 구현되며, 확신 수준 이하로 향상이 예상되지 않을 경우 실행을 종료한다.
• 이 방법은 다섯 가지 벤치마크에서 검증된다: LCBench, NAS-Bench-201, Taskset, PD1, 그리고 사전 분포에서 유도된 시뮬레이션 곡선.

실험 결과

연구 질문

• RQ1 사전-데이터에 적합한 네트워크(PFN)는 베이지안 학습 곡선 외삽 작업에 효과적으로 적용될 수 있는가?
• RQ2 알려진 사전 분포에서 유도된 시뮬레이션 학습 곡선에서 LC-PFN의 정확도와 속도는 MCMC 기반 사후 예측 근사와 비교해 어떻게 되는가?
• RQ3 LC-PFN은 다양한 아키텍처(MLP, CNN, RNN, 트랜스포머)와 데이터 모달리티(표본, 이미지, 텍스트, 단백질)에서 유래한 실제 학습 곡선으로 일반화 가능한가?
• RQ4 LC-PFN 기반의 초기 정지 기준은 하이퍼파ram터 최적화 효율성에 어떤 실용적 영향을 미치는가?
• RQ5 LC-PFN 기반의 초기 정지 기준은 확신 수준 임계값과 최소 관측 수단의 변화에 대해 얼마나 강건한가?

주요 결과

• LC-PFN은 사전 분포에서 유도된 시뮬레이션 곡선에서 MCMC보다 10,000배 이상 빠른 속도를 기록하면서 더 정확한 확률적 외삽 예측을 제공한다.
• LC-PFN은 실제 학습 곡선으로의 일반화 성능이 뛰어나, 네 가지 다양한 벤치마크(LCBench, NAS-Bench-201, Taskset, PD1)에서 20,000개 곡선에 대해 경쟁력 있는 성능을 달성한다.
• LC-PFN 기반의 초기 정지 기준은 45개의 모든 데이터셋에서 기준 대비 2–6배의 속도 향상을 기록했으며, 계산 오버헤드가 최소한이었다.
• 모델은 하이퍼파ram터 설정에 대해 강건하다: 0.90, 0.95, 0.99, 0.999의 확신 수준이 모두 우수한 성능을 보이며, 높은 확신 수준일수록 더 일관되지만 略로 느린 향상이 관찰된다.
• 두 개의 관측치 이전에 종료를 적용하는 것이 최적의 성능을 낸다. 한 개의 관측치로 종료를 적용할 경우 쉬운 과제에서 성능이 저하되고, 더 높은 관측 수준은 약간의 속도 저하를 유발한다.
• 외삽 예측의 정성적 분석 결과, LC-PFN의 예측은 관측 데이터와 사전 분포와 대부분 논리적이고 일관되며, MCMC-PP는 거의 LC-PFN을 초월하지 못한다.