[論文レビュー] Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers

Robin M. Schmidt, Frank Schneider+1 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Bandit Algorithms Research参考文献 155被引用数 34

ひとこと要約

本論文は、8つのタスクにわたり、4つのチューニング予算と4つの学習率スケジュールを用いて、15の人気深層学習最適化手法を大規模かつオープンなベンチマークで比較し、単一の勝者はいないことを示し、タスク次第でチューニングとデフォルト設定のいずれも競争力のある結果を生み得ることを示した。

ABSTRACT

Choosing the optimizer is considered to be among the most crucial design decisions in deep learning, and it is not an easy one. The growing literature now lists hundreds of optimization methods. In the absence of clear theoretical guidance and conclusive empirical evidence, the decision is often made based on anecdotes. In this work, we aim to replace these anecdotes, if not with a conclusive ranking, then at least with evidence-backed heuristics. To do so, we perform an extensive, standardized benchmark of fifteen particularly popular deep learning optimizers while giving a concise overview of the wide range of possible choices. Analyzing more than $50,000$ individual runs, we contribute the following three points: (i) Optimizer performance varies greatly across tasks. (ii) We observe that evaluating multiple optimizers with default parameters works approximately as well as tuning the hyperparameters of a single, fixed optimizer. (iii) While we cannot discern an optimization method clearly dominating across all tested tasks, we identify a significantly reduced subset of specific optimizers and parameter choices that generally lead to competitive results in our experiments: Adam remains a strong contender, with newer methods failing to significantly and consistently outperform it. Our open-sourced results are available as challenging and well-tuned baselines for more meaningful evaluations of novel optimization methods without requiring any further computational efforts.

研究の動機と目的

• 深層学習における最適化手法の選択とハイパーパラメータ調整が学習性能に与える影響を評価する。
• 将来の最適化手法のベンチマークとメタラーニングのための、根拠に基づくオープンなベースラインを提供する。
• 新しい最適化手法が SGD/Adam を上回るかどうか、またデフォルトのハイパーパラメータが十分かどうかを特定する。
• チューニングの時期や、デフォルト設定のまま複数の最適化手法を試すべきかについて、実務者への指針を提供する。

提案手法

• 100件超の候補から15の人気のある一階微分法最適化手法を選択する。
• 各最適化手法を8つの DEEPOBS 問題に対して、4つのチューニング予算と4つの学習率スケジュールを用いて評価する。
• 小・中・大の予算に対して、予め定義された分布内でランダム探索によってハイパーパラメータを調整する。
• 最終テスト精度を主要な性能指標として用い、追加の指標は補足資料で公開する。
• 53,760回のトレーニング実行を提供し、反復ごとの損失と検証/テスト指標をメタ分析用に記録する。
• 将来の最適化手法の研究とベンチマークを支援するため、オープンソースのベースライン結果を公開する。

実験結果

リサーチクエスチョン

• RQ1 広範な深層学習タスクの範囲で、いずれかの最適化手法が優勢であるか？
• RQ2 ハイパーパラメータ調整予算は、固定のデフォルトと比較して最適化手法の性能にどのように影響するか？
• RQ3 特定の最適化手法が他を一貫して上回る問題はあるか？
• RQ4 デフォルト設定の複数の最適化手法で、調整済み構成の性能に近づけるか？
• RQ5 タスク固有の知識がない場合に、実務者が最適化手法を選ぶ際の指針としてどのような示唆が得られるか？

主な発見

• 最適化手法の性能はタスクに強く依存する。8つの問題すべてにおいて単一の手法が優位であるとは限らない。
• デフォルトのハイパーパラメータを用いた複数の最適化手法の評価は、単一の最適化手法をチューニングするのとほぼ同等の性能を示すことが多い。
• チューニングされていない学習率スケジュールもいくらかの利得をもたらすが、効果は最適化手法と問題によって異なる。
• ADAM は依然として強力な候補であり、新しい手法がタスクを跨いで一貫して上回るわけではない。
• 一部の最適化手法（例：ADAM、ADABOUND、ADADELTA、RMSProp など）は頻繁に上位に入り、ただし結果は問題と予算によって異なる。
• オープンソースの結果（53,760回の実行）は、今後の最適化手法の評価に競争力のあるベースラインを提供する。