[論文レビュー] Scalable Uncertainty Quantification via GenerativeBootstrap Sampler

Minsuk Shin, Lu Wang+1 more|arXiv (Cornell University)|Jun 1, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、反復的ブートストラップリサンプリングの代わりに1回の最適化でブートストラップ分布を生成するスケーラブルな手法、生成的ブートストラップサンプラー（GBS）を提案する。データの重みからブートストラップ統計量への変換関数を学習することで、線形回帰、ロジスティック回帰、ガウス過程などの多様なモデルにおいて、漸近的同等性と高い精度を維持しながら、計算を数百倍高速化する。

ABSTRACT

It has been believed that the virtue of using statistical procedures is on uncertainty quantification in statistical decisions, and the bootstrap method has been commonly used for this purpose. However, nowadays as the size of data massively increases and statistical models become more complicated, the implementation of bootstrapping turns out to be practically challenging due to its repetitive nature in computation. To overcome this issue, we propose a novel computational procedure called {\it Generative Bootstrap Sampler} (GBS), which constructs a generator function of bootstrap evaluations, and this function transforms the weights on the observed data points to the bootstrap distribution. The GBS is implemented by one single optimization, without repeatedly evaluating the optimizer of bootstrapped loss function as in standard bootstrapping procedures. As a result, the GBS is capable of reducing computational time of bootstrapping by hundreds of folds when the data size is massive. We show that the bootstrapped distribution evaluated by the GBS is asymptotically equivalent to the conventional counterpart and empirically they are indistinguishable. We examine the proposed idea to bootstrap various models such as linear regression, logistic regression, Cox proportional hazard model, and Gaussian process regression model, quantile regression, etc. The results show that the GBS procedure is not only accelerating the computational speed, but it also attains a high level of accuracy to the target bootstrap distribution. Additionally, we apply this idea to accelerate the computation of other repetitive procedures such as bootstrapped cross-validation, tuning parameter selection, and permutation test.

研究の動機と目的

• 大規模データ環境下での従来のブートストラップ法の計算不能性（繰り返し最適化を要する性質）を解決すること。
• 計算コストを著しく削減しながら統計的整合性を保つ、標準的ブートストラップのスケーラブルな代替手法を開発すること。
• コックス比例ハザードモデルやガウス過程回帰などの複雑なモデルにおける効率的な不確実性評価を可能にすること。
• ブートストラップ付き交差検証や順列検定などの他の繰り返し的な統計的手法の高速化にも応用可能となるように、手法を拡張すること。

提案手法

• GBSは、データポイントの重みからブートストラップ統計量へのマッピングを実行する生成関数を導入し、繰り返し最適化を回避する。
• 生成関数は、重みとブートストラップ結果の関数的関係を学習するために、1回の最適化手順で訓練される。
• 深層学習を活用して、データ重みからブートストラップ推定値への非線形マッピングをモデル化し、高速な推論を実現する。
• 生成関数は、経験的ブートストラップ分布を近似するように訓練され、従来のブートストラップと漸近的同等性を確保する。
• 目的の損失関数に基づいて生成関数を訓練し、学習済み分布からのサンプリングによって、さまざまなモデルに適用する。
• 生成関数を再利用することで、ブートストラップ付き交差検証やチューニングパrameter選択といった他の繰り返し手続きにも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 繰り返しブートストラップを1回の最適化で置き換えても、統計的正確性が維持されるか？
• RQ2 大規模データセット上でのGBSの計算効率は、標準的ブートストラップと比べてどの程度優れているか？
• RQ3 GBSが生成する分布は、従来のブートストラップ分布とどの程度漸近的同等性を満たすか？
• RQ4 コックス比例ハザードモデルやガウス過程回帰のような複雑なモデルに対しても、GBSは効果的に適用可能か？
• RQ5 GBSフレームワークは、順列検定や交差検証といった他の繰り返し統計手続きの高速化にも拡張可能か？

主な発見

• GBSは、大規模データセット上でのブートストラップ処理に、最大数百倍の計算時間短縮を実現し、スケーラビリティを著しく向上させる。
• GBSが生成するブートストラップ分布は、従来のブートストラップと漸近的同等性を有しており、統計的妥当性を保証する。
• 実験結果から、GBSが生成する分布は実務上、標準的ブートストラップ分布と区別できないことが示された。
• 線形回帰、ロジスティック回帰、コックスモデル、ガウス過程回帰など、多様なモデルにおいて、高い精度が達成された。
• ブートストラップ付き交差検証、チューニングパrameter選択、順列検定といった他の繰り返し手続きに対しても、GBSは効果的に高速化を実現した。
• 生成関数は、データ重みからブートストラップ統計量への複雑なマッピングを効果的に捉えており、高速かつ信頼性の高い不確実性評価を可能にした。