[論文レビュー] Exploiting Reuse in Pipeline-Aware Hyperparameter Tuning

Liam Li, Evan Sparks+2 more|arXiv (Cornell University)|Mar 12, 2019

Machine Learning and Data Classification参考文献 28被引用数 4

ひとこと要約

この論文は、設計最適化、計算のバランス調整、キャッシュの改善を通じて、マルチステージ機械学習パイプライン全体で計算リソースの再利用を活用するパイプライン対応のハイパラメータチューニングフレームワークを提案する。共有プレフィックスの発見にグリッド化されたランダムサーチを導入し、成功反復法（Successive Halving）による早期停止でトレーニング時間を短縮するとともに、独創的なILPベースのキャッシュ戦略を提案。実験の結果、音声分類では17倍以上、テキスト分類では70倍以上の高速化が達成された。

ABSTRACT

Hyperparameter tuning of multi-stage pipelines introduces a significant computational burden. Motivated by the observation that work can be reused across pipelines if the intermediate computations are the same, we propose a pipeline-aware approach to hyperparameter tuning. Our approach optimizes both the design and execution of pipelines to maximize reuse. We design pipelines amenable for reuse by (i) introducing a novel hybrid hyperparameter tuning method called gridded random search, and (ii) reducing the average training time in pipelines by adapting early-stopping hyperparameter tuning approaches. We then realize the potential for reuse during execution by introducing a novel caching problem for ML workloads which we pose as a mixed integer linear program (ILP), and subsequently evaluating various caching heuristics relative to the optimal solution of the ILP. We conduct experiments on simulated and real-world machine learning pipelines to show that a pipeline-aware approach to hyperparameter tuning can offer over an order-of-magnitude speedup over independently evaluating pipeline configurations.

研究の動機と目的

• ハイパラメータチューニングにおけるマルチステージ機械学習パイプラインの高い計算コストを、設定間での再利用を活用することで低減すること。
• 共通する中間ステージを持つパイプラインを1つのDAGに統合することで、ハイパラメータチューニングにおける重複計算を削減すること。
• 早期停止および部分トレーニング戦略を用いて、計算コストの高いトレーニングステージのバランスを取ることで、効率性を向上させること。
• ノードコストが変動する機械学習ワークロードに特化した、キャッシュに配慮した戦略を開発し、LRUのような標準的なヒューリスティクスを凌駆すること。
• 機械学習パイプライン実行における高度なキャッシュヒューリスティクスを、最適なILP解と比較して評価すること。

提案手法

• 連続的ハイパーパramータの分岐要因を制限することで、パイプラインDAG内で共有プレフィックスを促進するハイブリッド手法「グリッド化ランダムサーチ」を導入。
• 成功反復法（Successive Halving）を早期停止戦略として適用し、高コストのトレーニングノードを低コストの順次ステップに分解することで、DAGのバランスを改善。
• 機械学習パイプラインのキャッシュ問題を、キャッシュ依存性のある一般化ページング問題としてモデル化し、混合整数線形計画法（ILP）として定式化。
• 高コストで低価値のノードをキャッシュに格納するのを避けるように設計された、新規のキャッシュヒューリスティクス「RECIPROCAL」と「WRECIPROCAL」を提案・評価。
• ヒューリスティクスの性能を評価する基準として、最適なILP解をベンチマークとして用い、特にメモリ制限下での性能を評価。
• 再利用の設計、計算のバランス、知的キャッシュの3本の柱を採用し、全体の効率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 ハイパラメータ設定間の共有プレフィックスを体系的に活用することで、パイプラインチューニングにおける重複計算を削減できるか？
• RQ2 早期停止および部分トレーニング戦略は、計算のバランスを改善することで、MLパイプラインにおける再利用の恩恵を高められるか？
• RQ3 ノードコストが変動する機械学習パイプラインには、標準的なLRUキャッシュ排出ポリシーが適しているか？
• RQ4 独創的なILPベースのキャッシュ戦略は、パイプラインハイパラメータチューニングの合計実行時間を削減する点で、既存のヒューリスティクスを上回れるか？
• RQ5 実世界のMLワークロードにおいて、計算プロファイルが多様な状況下で、パイプライン対応のアプローチはどの程度の高速化を達成できるか？

主な発見

• 20 Newsgroupsデータセットでは、提案手法のパイプライン対応アプローチにより、キャッシュヒューリスティクスを用いた独立した設定評価と比較して70倍の高速化が達成された。
• Amazon Reviewsデータセットでは、すべてのキャッシュ戦略が40倍以上の高速化を達成し、前段に計算コストが集中するパイプラインにおける強力な再利用効果が示された。
• 小容量メモリ環境ではLRUが著しく性能を発揮しなかった。これは、高コストの初期段階ノードが誤って排出されてしまうためであり、MLパイプラインには不適切であることが示された。
• WRECIPROCALはRECIPROCALやLRUを上回り、大規模で低価値のノードをキャッシュに格納する可能性が低いため、キャッシュサイズの変動に対してもより頑健であった。
• TIMIT音声分類タスクでは、グリッド化ランダムサーチとSuccessive Halvingを組み合わせ、現実的な設定下でキャッシュと併用することで、17倍以上の高速化が達成された。
• 最適なILP解は強力なベンチマークとして機能し、適切に設計されたヒューリスティクスベースのキャッシュ戦略が、近似的に最適な性能に到達できることを示した。