[論文レビュー] Using Small Proxy Datasets to Accelerate Hyperparameter Search

Sam Shleifer, Eric Prokop|arXiv (Cornell University)|Jun 12, 2019

Advanced Neural Network Applications参考文献 10被引用数 15

ひとこと要約

本稿では、Imagenette や Imagewoof のような ImageNet のサブセットから、最も簡単な 10–50% のトレーニング例を小規模なプロキシデータセットとして使用することで、ハイパーパramータ探索の高速化を提案する。これらの簡単な例で訓練を行うことで、計算量を大幅に削減しながらも、フルデータセットの結果における分散の 81–95% を説明でき、フルデータセットで少ないエポック数で訓練する手法や、困難な例を用いたプロキシよりも優れた性能を達成する。

ABSTRACT

One of the biggest bottlenecks in a machine learning workflow is waiting for models to train. Depending on the available computing resources, it can take days to weeks to train a neural network on a large dataset with many classes such as ImageNet. For researchers experimenting with new algorithmic approaches, this is impractically time consuming and costly. We aim to generate smaller "proxy datasets" where experiments are cheaper to run but results are highly correlated with experimental results on the full dataset. We generate these proxy datasets using by randomly sampling from examples or classes, training on only the easiest or hardest examples and training on synthetic examples generated by "data distillation". We compare these techniques to the more widely used baseline of training on the full dataset for fewer epochs. For each proxying strategy, we estimate three measures of "proxy quality": how much of the variance in experimental results on the full dataset can be explained by experimental results on the proxy dataset. Experiments on Imagenette and Imagewoof (Howard, 2019) show that running hyperparameter search on the easiest 10% of examples explains 81% of the variance in experiment results on the target task, and using the easiest 50% of examples can explain 95% of the variance, significantly more than training on all the data for fewer epochs, a more widely used baseline. These "easy" proxies are higher quality than training on the full dataset for a reduced number of epochs (but equivalent computational cost), and, unexpectedly, higher quality than proxies constructed from the hardest examples. Without access to a trained model, researchers can improve proxy quality by restricting the subset to fewer classes; proxies built on half the classes are higher quality than those with an equivalent number of examples spread across all classes.

研究の動機と目的

• 深層学習におけるハイパーパramータ探索の時間的・計算的コストを削減しつつ、モデル性能を損なわないようにすること。
• 数日から数週間もかかる画像分類データセット（例：ImageNet）における長時間のトレーニングというボトル neck を解消すること。
• フルデータセットで観察されたハイパーパramータの相対的性能順序を保つプロキシデータセットの開発。
• 複数のプロキシ生成戦略を評価・比較し、最も効果的で効率的な手法を同定すること。
• 計算コストが低くても、難易度の低い例を用いたプロキシの方が、難易度の高い例やランダムサブセットよりも品質が優れていることを実証すること。

提案手法

• 完全に訓練されたモデルの損失に基づいて、最も簡単な 10% または 50% のトレーニング例を選択することでプロキシデータセットを生成する。
• フルデータセットで少ないエポック数（例：1, 5, 10 エポック）で訓練するというベースライン戦略と、プロキシの品質を比較する。
• すべてのプロキシおよびフルデータセットの実験において、同一のハイパーパラメータグリッドを用いることで、一貫性のある比較を実現する。
• R二乗（分散説明率）、スピアマン順位相関、コスト補正済み R二乗という3つの指標を用いてプロキシの品質を測定する。
• Imagewoof や Imagenette の2つの ImageNet サブセット（より小さい、選別されたバージョン）を対象に性能を評価する。
• 複数のプロキシ戦略をテストする：簡単／困難な例、ランダムサンプリング、クラス制限付きサブセット、合成例からのデータディスティルレーション。

実験結果

リサーチクエスチョン

• RQ1 小規模なプロキシデータセットは、フルデータセットで観察されたハイパーパラメータ性能の分散の高割合を説明できるか？
• RQ2 簡単な例でハイパーパラメータ探索を行う性能は、少ないエポック数でフルデータセットで訓練するのと比べてどうか？
• RQ3 すべてのクラスを含むのではなく、一部のクラスに制限することで、同じ数の例に対してプロキシ品質が向上するか？
• RQ4 困難な例は簡単な例と同等に効果的か、それとも性能を劣化させるか？
• RQ5 データディスティルレーションやその他の合成手法は、単純な例選択よりも優れた品質のプロキシを生成できるか？

主な発見

• 最も簡単な 10% の例で訓練すると、フルデータセットのハイパーパラメータ性能における分散の 81% を説明でき、わずか 1 エポックでフルデータセットを訓練する手法よりも顕著に優れた性能を示す。
• 最も簡単な 50% の例で訓練すると、分散の 95% を説明でき、プロキシとフルデータセットの結果に強い相関があることが示された。
• 簡単な例を用いたプロキシは、困難な例を用いたプロキシよりも一貫して優れた性能を示したが、後者はより情報量が多いと予想されていたにもかかわらず、これは簡単な例がハイパーパラメータ性能の相対的ダイナミクスをよりよく捉えていることを示唆している。
• クラス数を減らすことでプロキシ品質が向上する—同じ数の例を用いる場合、全クラスに分散させるよりも半分のクラスに制限することで、より高品質なプロキシが得られる。
• 計算コストが同等のフルデータセットで少ないエポック数で訓練するというベースラインは、簡単な例を用いたプロキシよりも性能が劣っていたが、これはプロキシ設計の重要性が単なるトレーニング時間の短縮よりも顕著であることを示している。
• データディスティルレーションやランダムサンプリングの戦略は、R二乗値が 0.1 未満にとどまり、フルデータセットの結果との相関が弱く、品質が低いことが示された。