[論文レビュー] MLtuner: System Support for Automatic Machine Learning Tuning

Henggang Cui, Gregory R. Ganger+1 more|arXiv (Cornell University)|Mar 20, 2018

Machine Learning and Data Classification参考文献 43被引用数 5

ひとこと要約

MLtuner は、実行中に効率的なスナップショット、分岐、最適化誘導型の試行錯誤を用いて、学習率、バッチサイズ、データの陳腐化度などの重要な機械学習トレーニングハイパーパrameterを自動でチューニングするシステムである。このシステムは、画像分類や動画分類を含む多様なMLワークロードにおいて、初期設定が最適でない場合でもロバストな収束を示し、既存の自動チューニング手法よりも10倍以上高速であるという最先端の性能を達成している。

ABSTRACT

MLtuner automatically tunes settings for training tunables (such as the learning rate, the momentum, the mini-batch size, and the data staleness bound) that have a significant impact on large-scale machine learning (ML) performance. Traditionally, these tunables are set manually, which is unsurprisingly error-prone and difficult to do without extensive domain knowledge. MLtuner uses efficient snapshotting, branching, and optimization-guided online trial-and-error to find good initial settings as well as to re-tune settings during execution. Experiments show that MLtuner can robustly find and re-tune tunable settings for a variety of ML applications, including image classification (for 3 models and 2 datasets), video classification, and matrix factorization. Compared to state-of-the-art ML auto-tuning approaches, MLtuner is more robust for large problems and over an order of magnitude faster.

研究の動機と目的

• 学習率やバッチサイズなどの機械学習ハイパーパrameterのチューニングを、手作業で行い、誤りが多く、専門知識を要するプロセスを解決すること。
• トレーニング中に自動的でオンラインかつ適応的な設定を可能にすることで、ハイパーパラメータチューニングの『ブラックアート』的側面を軽減すること。
• 従来の自動チューニングアプローチが伴う高いランタイムオーバーヘッドを回避しながら、トレーニングの効率性と収束品質を向上させること。
• 大規模な問題を含め、多様なモデル、データセット、ハードウェア構成においてもロバスト性を確保すること。

提案手法

• MLtuner は既存のトレーニングシステムに統合され、収束速度を評価する短時間の試行を用いて、迅速かつオンラインで試行錯誤を実行する。
• スナップショットと分岐という効率的なシステムレベルのメカニズムを採用することで、最小限のオーバーヘッドで複数のトレーニング設定を保持・切り替える。
• 最適化誘導型探索（例：HyperOpt を用いたベイズ最適化）を用いて、ハイパーパラメータ空間を探索し、有望な設定を同定する。
• 収束が遅くなった際に、トレーニング中に動的にハイパーパラメータを再チューニングすることで、変化する状態に適応し、長期的なパフォーマンスを向上させる。
• 複数のチューナブルなパラメータを同時にサポートし、下位のトレーニングフレームワークを変更することなく、より大きな探索空間にスケーリング可能である。
• システムは最適な初期設定を自動で特定でき、継続的な再チューニングにより、不良な初期選択から回復することも可能である。

実験結果

リサーチクエスチョン

• RQ1 本番のトレーニング中に、広範なオフラインチューニングや専門知識を要せず、効率的かつロバストに自動ハイパーパラメータチューニングを実行できるか？
• RQ2 MLtuner のオンラインで適応的なチューニング戦略は、最先端のハイパーパラメータ最適化手法と比較して、速度と収束品質の面でどのように差をつけるか？
• RQ3 実行時における再チューニングによって、MLtuner は最適でない初期ハイパーパラメータ設定からどれほど回復できるか？
• RQ4 複数の相互に依存するチューナブルなパラメータを含む、より大きなハイパーパラメータ探索空間へ、MLtuner はどのようにスケーリングできるか？
• RQ5 MLtuner は、多様なMLモデルとデータセットにおいて、エキスパートがチューニングした設定と同等のパフォーマンスを達成できるか？

主な発見

• ImageNet において、Inception-BN では手動チューニング設定（69.8%）よりも高い検証精度（71.4%）を達成した。GoogLeNet では、手動チューニング（64.4%）よりも高い精度（66.2%）を達成した。
• Cifar10 ベンチマークでは、エキスパートチューニング設定のトレーニング時間の5倍の時間でエキスパートレベルの精度に到達し、効果的なオーバーヘッドの amortization を示した。
• 大規模な問題において、Spearmint や Hyperband などの最先端の自動チューニング手法よりも、トレーニング速度で10倍以上優れていた。
• ランダムに選択された最適でない初期設定から始めても、実行時における再チューニングにより、MLtuner は高精度のモデルに収束した。これは、ロバスト性を裏付けるものである。
• 8つのチューナブルパラメータ（元の4つから2倍）を対象とした場合でも、同じ精度レベルに収束を保ち、チューニング時間はわずかに2倍に増加した。これはスケーラビリティを示している。
• 10回の実行における収束時間の変動係数（CoV）は 0.22 であり、初期化や浮動小数点演算の確率的要因にもかかわらず、一貫性のあるパフォーマンスを示している。