[論文レビュー] PASHA: Efficient HPO and NAS with Progressive Resource Allocation

Ondrej Bohdal, Lukas Balles+4 more|arXiv (Cornell University)|Jul 14, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

PASHAは、チューニング中に最大リソースを動的に増加させることで、効率的なハイパーパramータ最適化（HPO）およびニューラルアーキテクチャサーチ（NAS）を実現するプログレッシブリソース割り当て手法である。計算コストを削減しながらモデル性能を維持する。WMTのような大規模データセットでは、ASHAに比べて最大15.5倍の高速化を達成し、精度を損なわず、固定予算手法や1エポックベースラインよりもロバスト性と効率性に優れる。

ABSTRACT

Hyperparameter optimization (HPO) and neural architecture search (NAS) are methods of choice to obtain the best-in-class machine learning models, but in practice they can be costly to run. When models are trained on large datasets, tuning them with HPO or NAS rapidly becomes prohibitively expensive for practitioners, even when efficient multi-fidelity methods are employed. We propose an approach to tackle the challenge of tuning machine learning models trained on large datasets with limited computational resources. Our approach, named PASHA, extends ASHA and is able to dynamically allocate maximum resources for the tuning procedure depending on the need. The experimental comparison shows that PASHA identifies well-performing hyperparameter configurations and architectures while consuming significantly fewer computational resources than ASHA.

研究の動機と目的

• 大規模データセットでリソースが限られた状況下でのHPOおよびNASにおける高い計算コストを軽減すること。
• 最大リソースを固定する既存のマルチファイデリティ手法（例：ASHA）の限界を改善し、初期段階の性能信号を十分に活用できるようにすること。
• 観察された性能に基づいてリソースを動的に割り当てることで、無駄な計算を削減する手法を開発すること。
• 計算リソースが制限された実務家が実用的かつコスト効率の良いHPOおよびNASを実施できるようにすること。
• さらに性能向上を図るため、ベイズ最適化などのサンプル効率の良い戦略と効果的に統合できること。

提案手法

• PASHAはASHAを拡張し、有望な設定に対して時間の経過とともに最大リソースを段階的に増加させる。
• 初期段階では小さな最大リソースレベルから開始し、早期の評価から得られる情報が増えるに従い、段階的に増加させる。
• アルゴリズムは逐次半分の手法（successive halving）を用いるが、各ランクにおける性能の安定性に基づき、最大リソースレベルを増加可能にする。
• リソースレベルはトレーニングステップ数や勾配更新回数で定義され、細かく制御可能で柔軟性がある。
• 連続するランクにおける設定の順位の安定性に基づき、追加のリソース割り当てを停止するタイミングを決定する。
• BOHBに類似た設定によりベイズ最適化と統合し、サンプル効率性とプログレッシブリソーススケーリングを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブリソース割り当て戦略は、最終的なモデル性能を損なわず、HPOおよびNASにおける計算コストを削減できるか？
• RQ2 最大リソースの動的調整は、固定予算手法と比較して、設定探索の速度とロバスト性にどのように影響するか？
• RQ3 PASHAは、1エポックベースラインやランダムサーチに比べて、高性能なハイパーパramータやアーキテクチャをどれほど効果的に特定できるか？
• RQ4 ベイズ最適化と組み合わせた場合、PASHAの精度と効率性はどの程度向上するか？
• RQ5 リソースの粒度とランク数が、さまざまなベンチマーク設定におけるPASHAの有効性に与える影響は何か？

主な発見

• WMTベンチマークでは、PASHAはASHAに比べて15.5倍の高速化を達成し、実行時間を43.7時間から2.8時間に短縮したが、競争力のある精度（62.04% vs. 62.72%）を維持した。
• ImageNetでは、ASHAの7.3時間からPASHAでは3.8時間に短縮され、73.37%の精度を達成。1エポックベースライン（63.40%）を上回った。
• 1エポックベースラインはImageNetでは性能が低かった（63.40%）が、WMTでは良好だった（62.36%）ため、データセット間でのロバスト性に欠けることが示された。
• ランダムサーチは他のすべての手法と比較して著しく劣り、WMTでは33.93%の精度にとどまり、構造的な探索戦略の必要性が浮き彫りになった。
• PASHAの性能は複数回の実行において安定しており、標準偏差が低かった（例：WMTでは2.05）。これは、一貫した設定選択が可能であることを示している。
• リソースの粒度が高い場合には、限られたランク数でも有効であり、計算要求の高い大規模データセットでは特に顕著なスピードアップが得られる。