[論文レビュー] Efficient Bayesian Learning Curve Extrapolation using Prior-Data Fitted Networks

Steven Adriænsen, Herilalaina Rakotoarison+2 more|arXiv (Cornell University)|Oct 31, 2023

Machine Learning in Healthcare被引用数 7

ひとこと要約

本稿では、ベイズ的学習曲線の外挿に、事前分布に適合したネットワーク（PFN）を初めて適用したLC-PFNを提案する。パラメトリック事前分布から生成された合成右切断学習曲線を用いて、トランスフォーマーに基づくPFNを訓練することで、MCMCに比べて10,000倍以上の高速化を達成しながら、より精度の高い確率的予測を実現した。さらに、多様なアーキテクチャとデータセットからの20,000件の実学習曲線においても優れた汎化性能を示し、2〜6倍の高速化を実現する効率的な早期停止を可能にした。

ABSTRACT

Learning curve extrapolation aims to predict model performance in later epochs of training, based on the performance in earlier epochs. In this work, we argue that, while the inherent uncertainty in the extrapolation of learning curves warrants a Bayesian approach, existing methods are (i) overly restrictive, and/or (ii) computationally expensive. We describe the first application of prior-data fitted neural networks (PFNs) in this context. A PFN is a transformer, pre-trained on data generated from a prior, to perform approximate Bayesian inference in a single forward pass. We propose LC-PFN, a PFN trained to extrapolate 10 million artificial right-censored learning curves generated from a parametric prior proposed in prior art using MCMC. We demonstrate that LC-PFN can approximate the posterior predictive distribution more accurately than MCMC, while being over 10 000 times faster. We also show that the same LC-PFN achieves competitive performance extrapolating a total of 20 000 real learning curves from four learning curve benchmarks (LCBench, NAS-Bench-201, Taskset, and PD1) that stem from training a wide range of model architectures (MLPs, CNNs, RNNs, and Transformers) on 53 different datasets with varying input modalities (tabular, image, text, and protein data). Finally, we investigate its potential in the context of model selection and find that a simple LC-PFN based predictive early stopping criterion obtains 2 - 6x speed-ups on 45 of these datasets, at virtually no overhead.

研究の動機と目的

• 既存のベイズ的学習曲線外挿手法に課題があること、すなわち、制限が厳しすぎるか、計算コストが高すぎるという点を解決すること。
• 事前データ適合ネットワーク（PFN）を学習曲線外挿に初めて適用する可能性と有効性を検討すること。
• LC-PFNの性能を、既知の事前分布から得た合成曲線と、多様なアーキテクチャとデータモダリティの実世界学習曲線の両方で評価すること。
• ハイパーパramータ最適化のための早期停止基準にLC-PFNを統合することで、実用的利便性を示すこと。
• LC-PFNフレームワークの再現可能性を確保するため、コード、データ、モデルをオープンソース化すること。

提案手法

• LC-PFNは、MCMCサンプリングを用いてパラメトリック事前分布から生成された人工的右切断学習曲線を事前学習したトランスフォーマー基盤のニューラルネットワークである。
• PFNは、1回の順伝播計算で学習曲線の事後予測分布（PPD）を近似できるように学習され、高速なベイズ推論を可能にする。
• モデルは、事前分布を条件として、部分的な訓練データが与えられたもとで、将来の性能分布全体を予測するように訓練されている。
• LC-PFNは、合成および実学習曲線ベンチマークの両方で、MCMCに基づく事後予測近似と比較評価されている。
• LC-PFNの予測不確実性を用いて、細かく調整された早期停止基準が実装されており、信頼度閾値を超えて改善が見込めない場合に実行を終了する。
• 本手法は5つのベンチマーク（LCBench、NAS-Bench-201、Taskset、PD1、および事前分布からの合成曲線）で検証された。

実験結果

リサーチクエスチョン

• RQ1 事前データ適合ネットワーク（PFN）は、ベイズ的学習曲線外挿というタスクに効果的に適用可能か？
• RQ2 既知の事前分布から得た合成学習曲線において、LC-PFNの精度と速度はMCMCに基づく事後予測近似と比べてどうか？
• RQ3 LC-PFNは、MLP、CNN、RNN、Transformerといった多様なアーキテクチャおよび、表形式、画像、テキスト、タンパク質といった多様なデータモダリティからの実世界学習曲線に汎化可能か？
• RQ4 LC-PFNに基づく早期停止が、ハイパーパramータ最適化の効率に及ぼす実用的影響は何か？
• RQ5 信頼度閾値と最小観測数カットオフの変化に対して、LC-PFNに基づく早期停止基準はどれほど頑健か？

主な発見

• LC-PFNは、事前分布からの合成曲線において、MCMCに比べ10,000倍以上の高速化を達成しながら、より精度の高い確率的外挿を実現した。
• LC-PFNは実学習曲線への汎化が効果的であり、4つの多様なベンチマーク（LCBench、NAS-Bench-201、Taskset、PD1）から得た20,000件の曲線において、競争力のある性能を示した。
• LC-PFNに基づく早期停止基準は、45の全データセット（45/45）でベースラインに比べ2〜6倍の高速化を達成し、計算オーバーヘッドは最小限だった。
• ハイパーパramータの選択に対して本手法は頑健である：信頼度0.90、0.95、0.99、0.999の各水準で良好な性能を示し、信頼度が高いほど一貫性は向上するが、わずかに遅延が増える傾向だった。
• 2つの観測値を最小観測数カットオフとして設定すると最適である。1つの観測値のカットオフは、簡単なタスクで性能を低下させる一方、より高いカットオフ値はわずかな遅延を引き起こす。
• 外挿プロットの定性的な分析から、LC-PFNの予測は観測データと事前分布と整合的で、論理的であることが示された。MCMC-PPはLC-PFNを上回るケースは稀であった。