[論文レビュー] AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning

Krishnateja Killamsetty, Guttu Sai Abhishek+5 more|arXiv (Cornell University)|Mar 15, 2022

Machine Learning and Data Classification被引用数 10

ひとこと要約

本論文では、勾配に基づくデータサブセット選択フレームワークであるAutomataを提案する。この手法は、フルデータセットではなく、情報量が多く小さなデータサブセットで学習することで、ハイパーパramータチューニングの速度を向上させる。勾配情報を活用して代表的なサンプルを選択することで、フルデータチューニングと比較して2%の性能低下で3×–30×の高速化を達成し、画像、自然言語、表形式のベンチマークにおいて、トレーニング時間、エネルギー消費量、およびCO2排出量を顕著に削減する。

ABSTRACT

Deep neural networks have seen great success in recent years; however, training a deep model is often challenging as its performance heavily depends on the hyper-parameters used. In addition, finding the optimal hyper-parameter configuration, even with state-of-the-art (SOTA) hyper-parameter optimization (HPO) algorithms, can be time-consuming, requiring multiple training runs over the entire dataset for different possible sets of hyper-parameters. Our central insight is that using an informative subset of the dataset for model training runs involved in hyper-parameter optimization, allows us to find the optimal hyper-parameter configuration significantly faster. In this work, we propose AUTOMATA, a gradient-based subset selection framework for hyper-parameter tuning. We empirically evaluate the effectiveness of AUTOMATA in hyper-parameter tuning through several experiments on real-world datasets in the text, vision, and tabular domains. Our experiments show that using gradient-based data subsets for hyper-parameter tuning achieves significantly faster turnaround times and speedups of 3$\ imes$-30$\ imes$ while achieving comparable performance to the hyper-parameters found using the entire dataset.

研究の動機と目的

• ディープラーニングにおけるハイパーパramータチューニングの高い計算コストと環境的コストを低減すること。
• 既存のハイパーパramータ最適化（HPO）手法におけるランダムなデータサブセット選択の非効率性に対処すること。
• 勾配に基づく基準を用いて情報量の多いデータサブセットを効率的に選択する手法を開発し、HPOの効率を向上させること。
• 大幅に短縮されたトレーニング時間とエネルギー消費量で、同等のモデル性能を達成すること。
• 勾配ベースのサブセット選択が、ランダムおよび先行のサブセット選択手法よりもHPOの効率性と精度において優れていることを実証すること。

提案手法

• Automataは、勾配に基づくデータサブセット選択を用いて、トレーニングデータから代表的なサンプルを同定する。
• モデルパラメータのトレーニング例に対する勾配を計算し、勾配の大きさが大きく、かつ多様性の高いデータポイントを選択する。
• 選択されたサブセットを、ハイパーパramータ探索中のモデル学習に使用し、フルデータセットでの学習に置き換える。
• Hyperband や ASHA といった既存のHPOスケジューラーと統合され、早期停止を用いて探索を加速する。
• サブセット上で最適なハイパーパramータを特定した後、最終的なモデルはフルデータセットで再トレーニングされる。
• エネルギー消費量およびCO2排出量は、pyJoulesとMLCO2 calculatorを用いて推定され、環境的影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのデータサブセット選択は、ハイパーパラメータチューニングの効率において、ランダムなサブセット選択を上回ることができるか？
• RQ2 小さな情報量の多いデータサブセットは、ハイパーパラメータチューニング中にどの程度のモデル性能を維持できるか？
• RQ3 Automataは、フルデータチューニングと比較して、スピードアップ、正確性、エネルギー効率の観点でどの程度の性能を示すか？
• RQ4 勾配ベースのサブセットを使用することで、ハイパーパラメータチューニングパイプラインにおけるCO2排出量は削減されるか？
• RQ5 Automataは、多様なデータモダリティにおいて、スピード、正確性、環境的コストの間で良好なトレードオフを達成できるか？

主な発見

• Automataは、フルデータでのハイパーパラメータチューニングと比較して、3×から30×の高速化を達成し、性能の低下は最小限である。
• 画像、自然言語、表形式のデータセットにおいて、平均してAutomataはフルデータチューニングと比較してテスト誤差を1–2%しか増加させない。
• CIFAR-100データセットでは、Automataは10%のデータで30×の高速化を達成し、フルトレーニングと比較してCO2排出量を90%以上削減した。
• スピードアップ-正確性およびエネルギー効率のトレードオフにおいて、ランダムおよびCraigベースのサブセット選択を上回る性能を示した。
• エネルギー消費量およびCO2排出量は、特にHyperbandのような積極的なスケジューラーを用いる場合、小規模なサブセットを用いたAutomataでは最大90%まで削減された。
• 評価されたすべての設定において、Automataはスピードアップ対誤差のトレードオフプロットの右下領域で最も優れた性能を示し、優れた効率性を示している。