[論文レビュー] Optimizer Benchmarking Needs to Account for Hyperparameter Tuning

Prabhu Teja Sivaprasad, Florian Mai+3 more|arXiv (Cornell University)|Oct 25, 2019

Machine Learning and Data Classification参考文献 35被引用数 14

ひとこと要約

この論文は、最適化手法のベンチマーク評価において、ハイパーパramータチューニングの計算コストを考慮する必要があると主張し、多様なタスクにわたる自動ハイパーパramータ最適化を用いた公平な評価フレームワークを提案する。結果として、特に学習率のみをチューニングする場合、アダム（Adam）がその頑健性とチューニングのしやすさから、低予算環境下でも、すらにチューニングされたSGDの変種をも上回る、最も実用的な最適化手法であることが示された。

ABSTRACT

The performance of optimizers, particularly in deep learning, depends considerably on their chosen hyperparameter configuration. The efficacy of optimizers is often studied under near-optimal problem-specific hyperparameters, and finding these settings may be prohibitively costly for practitioners. In this work, we argue that a fair assessment of optimizers' performance must take the computational cost of hyperparameter tuning into account, i.e., how easy it is to find good hyperparameter configurations using an automatic hyperparameter search. Evaluating a variety of optimizers on an extensive set of standard datasets and architectures, our results indicate that Adam is the most practical solution, particularly in low-budget scenarios.

研究の動機と目的

• ハイパーパramータ選択とチューニング作業における人為的バイアスが最適化手法ベンチマークの公平性を損なうという問題に対処すること。
• ハイパーパramータ探索の計算予算が限られた状況下で、最適化手法がどれほど容易に良好な性能を達成できるかを評価すること。
• ピーク性能だけでなく、チューナビリティと頑健性の観点からも、適応的（例：Adam）と非適応的（例：SGDの変種）最適化手法を比較すること。
• 産業的および研究的応用における現実世界の実用性を反映させるために、ハイパーパramータ最適化コストをベンチマークに組み込むべきであると提唱すること。
• ハイパーパramータ空間と探索設定選択における人為的バイアスを最小限に抑える、標準化された自動ベンチマークプロトコルを提供すること。

提案手法

• 視覚、自然言語処理、回帰、分類をカバーする9つの多様なディープラーニングタスクでベンチマークを実施する。
• 手動チューニングを避けるために、固定された探索予算を用いた自動ハイパーパramータ最適化（HPO）を用いて最適化手法の性能を評価する。
• 人為的バイアスを低減するため、一変量分布族を用いてハイパーパramータ空間への事前分布を推定する。
• ハイパーパramータ最適化（HPO）の予算を変化させ、最小限（学習率のみ）から完全（すべてのハイパーパramータ）まで比較する。
• 与えられた予算内で良好な設定を発見する確率的性能指標を用いて、性能を評価する。
• 低予算設定での性能向上を図るための「有効な学習率」の概念を導入・評価し、過去に成功した$(\gamma,\mu)$ペアの履歴を活用する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパramータチューニングコストをベンチマークに組み込むと、最適化手法の性能はどのように変化するか？
• RQ2 ハイパーパramータ探索の計算予算が限られた状況下で、どの最適化手法が最も頑健で実用的か？
• RQ3 学習率のみをチューニングすれば、近似的に最良の結果に到達できるのだろうか、それともすべてのハイパーパramータをチューニングする必要があるのか？
• RQ4 アダプティブな最適化手法（例：Adam）と非アダプティブなSGDの変種とを、チューナビリティと性能安定性の観点から比較するとどうなるか？
• RQ5 複雑なハイパーパramータ相互作用が、さまざまな探索予算における最適化手法の性能の信頼性にどの程度影響を与えるか？

主な発見

• アダムは、最小限のチューニング作業で一貫して高い性能を発揮し、特に学習率のみを最適化する場合、低予算環境下での最も実用的な選択肢であることが示された。
• アダムの学習率のみのチューニングでも、高予算でも2〜3％以内の性能に到達でき、高い信頼性を示した。
• SGDの変種は一部のタスクでピーク性能を達成するが、そのために膨大なチューニング作業が必要であり、ハイパーパramータ空間において狭く到達困難な最小値に陥りやすい。
• アダムの完全なハイパーパramータチューニングはさらに性能を向上させるが、高いばらつきを示しており、より複雑で滑らかでないハイパーパラメータ空間であることを示唆している。
• アダムのハイパーパラメータ表面は、SGDよりも広く頑健であることが確認され、適応的メソッドがチューニングしやすいという仮説を支持した。
• 「有効な学習率」の概念を用いることで、過去に成功した$(\gamma,\mu)$ペアの履歴を活用し、低予算設定での性能が向上した。これは、将来的なHPOフレームワークにおけるより良い事前分布モデリングの可能性を示唆している。