[論文レビュー] Efficient Online Bootstrapping for Large Scale Learning

Zhen Qin, V. Petřı́ček+3 more|arXiv (Cornell University)|Dec 18, 2013

Machine Learning and Data Classification参考文献 6被引用数 7

ひとこと要約

この論文は、Vowpal Wabbitに実装された、ポアソン分布によるサンプリングを用いた効率的なオンラインブートストラップ法を提案する。この手法により、不確実性推定を伴う高速でスケーラブルなモデル学習が可能になる。各例をブートストラップラウンドごとに一度だけ再利用し、特徴量重みを共通配置することで、バッチブートストラップに比べて顕著な高速化を達成するとともに、モデルアveragingによって予測精度の向上も実現する。

ABSTRACT

Bootstrapping is a useful technique for estimating the uncertainty of a predictor, for example, confidence intervals for prediction. It is typically used on small to moderate sized datasets, due to its high computation cost. This work describes a highly scalable online bootstrapping strategy, implemented inside Vowpal Wabbit, that is several times faster than traditional strategies. Our experiments indicate that, in addition to providing a black box-like method for estimating uncertainty, our implementation of online bootstrapping may also help to train models with better prediction performance due to model averaging.

研究の動機と目的

• 従来のブートストラップ法が大規模な学習環境で高い計算コストを要することに対処すること。
• オンライン学習フレームワークにおける予測子に対して、スケーラブルでリアルタイムな不確実性推定を可能にすること。
• モデルの複雑さを増さずに、オンラインモデルアveragingによって一般化性能を向上させること。
• Vowpal Wabbitにブートストラップを軽量なリダクションとして統合し、多様な学習アルゴリズムと互換性を持たせること。

提案手法

• リサンプリングの代わりに、リサンプリングを近似するためのポアソン(1)サンプリングを用い、高コストなバッチリサンプリングをオンラインサンプリングに置き換える。
• 重要度重みを、ポアソン(1)のサンプル値と元の例の重みを乗算することで適用し、非ユニット重みの効率的取り扱いを可能にする。
• ブートストラップをVowpal Wabbitのトップレベルリダクションとして実装し、ベースとなる学習アルゴリズムから分離する。
• ブートストラップされたモデル間で特徴量重みをメモリ上に共通配置することで、キャッシュ効率を最大化し、パースのオーバーヘッドを低減する。
• 各例をトレーニングパスごとに一度だけ処理し、サンプリングされた重みを用いてN個のオンライン学習者に供給する。
• 平均（回帰）または多数決投票（分類）によるアンサンブル予測をサポートし、分位数への拡張性も備える。

実験結果

リサーチクエスチョン

• RQ1 大規模な学習に適した効率的で、かつ精度を損なわないオンラインブートストラップは実現可能か？
• RQ2 実際の運用において、オンラインブートストラップはモデルアveragingによって一般化性能を向上させるか？
• RQ3 大規模データセット上でのオンラインブートストラップの計算コストは、従来のバッチブートストラップと比べてどの程度か？
• RQ4 オンライン学習システム（例：Vowpal Wabbit）にオンラインブートストラップを効果的に統合できるか？
• RQ5 オンラインブートストラップは、大規模な特徴空間におけるハッシング衝突の影響をどの程度軽減できるか？

主な発見

• Vowpal Wabbitにおけるオンラインブートストラップは、特にRCV1のような大規模データセットにおいて、従来のバッチブートストラップに比べ数倍の高速化を達成した。
• RCV1データセットでは、オンラインホールドアウト検証損失が低下し、モデルの安定性とパフォーマンスの向上を示した。
• 20個のブートストラップを用いた場合、テストセットでの誤差率は5.37%にまで低下し、ベースライン学習者の6.01%を下回った。
• 二次特徴量を追加した場合でも、ブートストラップモデルは単一モデルよりも低い二乗損失（0.0340）を達成しており、特徴量拡張に対して高いロバストネスを示した。
• すでにチューニングされたベースラインに対しても、わずか4個のブートストラップで誤差率を4.64%から4.58%に低下させ、性能向上が継続して確認された。
• 一回の例のパースと効率的なメモリレイアウトのおかげで、スケーラビリティが高く、テラ特徴量レベルのデータセットに対しても実用的である。