[論文レビュー] A Scalable Bootstrap for Massive Data

Ariel Kleiner, Ameet Talwalkar+2 more|arXiv (Cornell University)|Dec 21, 2011

Neural Networks and Applications被引用数 7

ひとこと要約

この論文では、大規模データセットにおける従来のブートストラップの代替手段として、スケーラブルでロバストなBag of Little Bootstraps (BLB) を導入する。部分標本抽出と再抽出を組み合わせることで、ブートストラップが保持する統計的正確性と汎用性を維持しながら、推定量の分散および信頼区間の効率的かつ分散処理可能な計算を可能にする。

ABSTRACT

The bootstrap provides a simple and powerful means of assessing the quality of estimators. However, in settings involving large datasets---which are increasingly prevalent---the computation of bootstrap-based quantities can be prohibitively demanding computationally. While variants such as subsampling and the $m$ out of $n$ bootstrap can be used in principle to reduce the cost of bootstrap computations, we find that these methods are generally not robust to specification of hyperparameters (such as the number of subsampled data points), and they often require use of more prior information (such as rates of convergence of estimators) than the bootstrap. As an alternative, we introduce the Bag of Little Bootstraps (BLB), a new procedure which incorporates features of both the bootstrap and subsampling to yield a robust, computationally efficient means of assessing the quality of estimators. BLB is well suited to modern parallel and distributed computing architectures and furthermore retains the generic applicability and statistical efficiency of the bootstrap. We demonstrate BLB's favorable statistical performance via a theoretical analysis elucidating the procedure's properties, as well as a simulation study comparing BLB to the bootstrap, the $m$ out of $n$ bootstrap, and subsampling. In addition, we present results from a large-scale distributed implementation of BLB demonstrating its computational superiority on massive data, a method for adaptively selecting BLB's hyperparameters, an empirical study applying BLB to several real datasets, and an extension of BLB to time series data.

研究の動機と目的

• 繰り返しのフルリサンプリング推定を伴う標準ブートストラップ手法が、大規模データセットでは計算的に非現実的であるという問題に対処する。
• 部分標本抽出やm-out-of-nブートストラップといった既存の代替手法の限界を克服する。これらはハイパーパrameterの選択に敏感であり、解析的補正を要する。
• ブートストラップが持つ統計的ロバスト性と広範な適用可能性を維持しながら、効率的な並列および分散処理計算を可能にする手法を開発する。
• ユーザの専門知識の要件を低減するため、使いやすさを高めるために適応的ハイパーパrameter選択メカニズムを提供する。
• 各部分標本内で定常ブートストラップを用いることで、時系列データなどの従属構造を保持する定常BLB変種を用いて、従属データの処理に拡張する。

提案手法

• 2段階のプロセスを導入する：まず、元のデータセットからサイズbの独立した部分標本を抽出する。ここでbは全データサイズnよりもはるかに小さい。
• 次に、各部分標本からリサンプリング（復元抽出）を行い、サイズrのリサンプルを生成する。ここでrは通常nよりもはるかに小さいが、bよりも大きい。
• 各リサンプルに対して関心のある推定量を計算し、平均化することで分散または標準誤差を推定する。
• リサンプル統計量の経験的分布を用いて、推定量の標本分布を近似する。
• リサンプル分布の安定性と広がりに基づくデータ駆動型手続きを用いて、部分標本サイズbとリサンプルサイズrを適応的に選択する。
• 時系列データへの適用を可能にするために、各部分標本内で時系列依存構造を保持する定常ブートストラップを用いることでBLBを拡張する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセット上で計算コストを著しく削減しつつ、古典的ブートストラップと同等の統計的ロバスト性を維持するブートストラップに類似した手続きを設計可能か？
• RQ2 統計的正確性と計算効率の観点から、BLBは標準ブートストラップ、部分標本抽出、m-out-of-nブートストラップと比べてどのように異なるか？
• RQ3 統計的妥当性を損なわずに、並列および分散コンピューティングアーキテクチャに効果的にスケーリング可能か？
• RQ4 ハイパーパrameterの選択（例：bとr）がBLBの性能に与える影響は何か？また、その選択を適応的にすることで、より高いロバスト性を達成可能か？
• RQ5 時系列などの従属構造を有するデータを処理するために、BLBを拡張可能か？その場合、計算的および統計的利点を維持できるか？

主な発見

• BLBは、標準ブートストラップおよび時系列データにおける定常ブートストラップと同等の統計的性能を達成し、計算コストを大幅に削減した。
• n = 5,000の場合、BLB-0.8は、スケーリングされた平均の標準偏差を4.6 ± 0.1として推定し、真の値のおおよそ5に近く一致した。
• 定常BLB変種は、b ≥ n^0.7の場合、定常ブートストラップと同等の性能を示し、従属データ処理への妥当性を裏付けた。
• 大規模な分散環境での実装において、BLBは標準ブートストラップに比べて顕著な計算的優位性を示し、大規模データセットにおけるスケーラブルな推論を可能にした。
• 適応的ハイパーパrameter選択手法により、ユーザーが指定するパラメータへの感受性が低下し、多様なデータ設定においてより高いロバスト性が向上した。
• m-out-of-nブートストラップおよび部分標本抽出よりも、ハイパーパラメータ選択に対するロバスト性が高く、解析的補正を要しないことが示された。