[論文レビュー] Speculative Approximations for Terascale Analytics

Chengjie Qin, Florin Rusu|arXiv (Cornell University)|Jan 1, 2015

Data Management and Algorithms参考文献 54被引用数 4

ひとこと要約

本稿では、tera規模の分析におけるモデルキャリブレーションの高速化を目的として、予測的パラメータテストとオンライン集約を提案する。並列なマルチクエリ処理と段階的サンプリングによる早期停止を用いて、複数のステップサイズを同時に評価することで、キャリブレーション時間を最大20倍短縮し、劣化した設定の特定を従来の1/20の時間で行える。

ABSTRACT

Model calibration is a major challenge faced by the plethora of statistical analytics packages that are increasingly used in Big Data applications. Identifying the optimal model parameters is a time-consuming process that has to be executed from scratch for every dataset/model combination even by experienced data scientists. We argue that the incapacity to evaluate multiple parameter configurations simultaneously and the lack of support to quickly identify sub-optimal configurations are the principal causes. In this paper, we develop two database-inspired techniques for efficient model calibration. Speculative parameter testing applies advanced parallel multi-query processing methods to evaluate several configurations concurrently. The number of configurations is determined adaptively at runtime, while the configurations themselves are extracted from a distribution that is continuously learned following a Bayesian process. Online aggregation is applied to identify sub-optimal configurations early in the processing by incrementally sampling the training dataset and estimating the objective function corresponding to each configuration. We design concurrent online aggregation estimators and define halting conditions to accurately and timely stop the execution. We apply the proposed techniques to distributed gradient descent optimization -- batch and incremental -- for support vector machines and logistic regression models. We implement the resulting solutions in GLADE PF-OLA -- a state-of-the-art Big Data analytics system -- and evaluate their performance over terascale-size synthetic and real datasets. The results confirm that as many as 32 configurations can be evaluated concurrently almost as fast as one, while sub-optimal configurations are detected accurately in as little as a $1/20^{ ext{th}}$ fraction of the time.

研究の動機と目的

• ビッグデータ分析におけるモデルキャリブレーションの高い計算コストとインタラクティブな性質に対処する。
• 特に大規模データセットにおいて、パラメータ設定を1つずつ評価する非効率性を克服する。
• 比例的な時間増加なしに、複数のハイパーパramータ設定を同時に評価できるようにする。
• 段階的サンプリングとオンライン集約を用いて、劣化した設定を早期に検出する。
• これらの技術を最適化することで、バッチ勾配降下（BGD）が収束速度と実行時間の両面でインクリメンタル勾配降下（IGD）を上回ることを示す。

提案手法

• 訓練データを1回のスキャンで複数のステップサイズを同時に評価できるように、高度な並列マルチクエリ処理を用いた予測的パラメータテストを適用する。
• ベイジアンプロセスを用いて、有望なパラメータの分布から学習し、実行時における設定数を動的に調整する。
• 同時に動作する推定器とオンライン集約を統合し、訓練データセットを段階的にサンプリングして、各設定の目的関数を推定する。
• ベイジアン統計から導かれる信頼区間をもとに、劣化が検出された場合に処理を早期に停止するための停止条件を定義する。
• 予測実行中にモデル更新と損失計算をオーバーラップさせ、アイドル時間を最小限に抑え、リソース利用効率を向上させる。
• SVMおよびロジスティック回帰の両方のバッチおよびインクリメンタル勾配降下をサポートする、ビッグデータ分析システムGLADE PF-OLAにこれらの技術を実装する。

実験結果

リサーチクエスチョン

• RQ1 複数のハイパーパramータ設定を、線形的な時間増加なしに1回のデータスキャンで同時に評価できるか？
• RQ2 段階的サンプリングとオンライン集約推定器を用いて、劣化した設定を早期に検出できるか？
• RQ3 予測的および近似技術を最適化した場合、バッチ勾配降下（BGD）が収束速度と実行時間の両面でインクリメンタル勾配降下（IGD）を上回るか？
• RQ4 信頼区間を用いたオンライン集約は、モデルキャリブレーションに要する時間をどの程度短縮できるか？
• RQ5 予測実行とオンライン集約の統合は、tera規模のデータセットにおける総合的なキャリブレーション時間の短縮にどの程度効果的か？

主な発見

• 最大32のパラメータ設定を同時に評価でき、ほぼ線形のスループット向上を達成し、単一の設定と同等のパフォーマンスを実現する。
• 劣化した設定は、従来手法に比べて1/20の時間で高い正確性で検出できる。
• 予測的およびオンライン集約技術を適用した場合、バッチ勾配降下（BGD）は収束速度と実行時間の両面でインクリメンタル勾配降下（IGD）を一貫して上回る。
• オンライン集約と予測実行の統合により、生産性の低い設定に対して早期に停止できるようになり、総合的なキャリブレーション時間の短縮が実現される。
• 提案手法は一般化可能であり、マルチスレーディングと部分的集約をサポートする既存のビッグデータプラットフォーム（MLlib、MADlib、Vowpal Wabbitなど）に統合可能である。
• オンライン集約推定器のベイジアンベースの信頼区間により、正確でタイムリーな停止意思決定が可能となり、誤検出のリスクが最小限に抑えられる。