[論文レビュー] DeepOBS: A Deep Learning Optimizer Benchmark Suite

Frank Schneider, Lukas Balles+1 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Neural Network Applications参考文献 49被引用数 6

ひとこと要約

DeepOBS は、TensorFlow に基づいて構築されたオープンソースの Python ベンチマークスイートであり、深層学習最適化手法の評価を、現実的で多様な深層学習タスクを用いて標準化する。このツールはベンチマークを自動化し、8 つの多様な問題において SGD、Momentum、Adam のベースライン結果を事前に提供する。複数回の実行におけるテスト精度、損失、収束速度といった標準化された指標を通じて、公平で再現可能な比較を保証する。

ABSTRACT

Because the choice and tuning of the optimizer affects the speed, and ultimately the performance of deep learning, there is significant past and recent research in this area. Yet, perhaps surprisingly, there is no generally agreed-upon protocol for the quantitative and reproducible evaluation of optimization strategies for deep learning. We suggest routines and benchmarks for stochastic optimization, with special focus on the unique aspects of deep learning, such as stochasticity, tunability and generalization. As the primary contribution, we present DeepOBS, a Python package of deep learning optimization benchmarks. The package addresses key challenges in the quantitative assessment of stochastic optimizers, and automates most steps of benchmarking. The library includes a wide and extensible set of ready-to-use realistic optimization problems, such as training Residual Networks for image classification on ImageNet or character-level language prediction models, as well as popular classics like MNIST and CIFAR-10. The package also provides realistic baseline results for the most popular optimizers on these test problems, ensuring a fair comparison to the competition when benchmarking new optimizers, and without having to run costly experiments. It comes with output back-ends that directly produce LaTeX code for inclusion in academic publications. It supports TensorFlow and is available open source.

研究の動機と目的

• 深層学習最適化手法の評価に、標準的で再現可能なプロトコルが不足しているという問題に取り組む。
• SGD や Momentum や Adam といった既存のベースラインと比較する際のバイアスと作業負荷を低減する。
• 多様で実用的な深層学習タスク（例：ImageNet における ResNets、Tolstoy のテキストにおける RNN）を含む、共通で現実的なテストベッドを提供する。
• ベンチマークワークフローを自動化し、出版用の LaTeX テーブルとプロットを出力する。
• 複数回の実行における損失、精度、速度、チューニングのしやすさといった複数の指標を報告することで、最適化手法の評価における公平性と透明性を向上させる。

提案手法

• 最終的な性能、収束速度、チューニングのしやすさを主な指標とするベンチマークプロトコルを設計する。
• 8 つの多様で現実的な深層学習タスク（画像分類、オートエンコーダ、文字レベルの RNN など）をカプセル化した TensorFlow に基づく Python パッケージを実装する。
• すべてのタスクにおいて SGD、Momentum、Adam の事前計算済みベースライン結果を提供し、ベースラインの再実行の必要をなくす。
• ハイパーパramータ探索と複数回のランダム実行を自動化し、頑健性の評価と確率的バイアスの低減を図る。
• ベンチマーク結果から直接、出版用の LaTeX テーブルとプロットを生成する。
• 拡張性を支援し、研究者が新しい最適化手法やタスクを簡単に統合できるようにする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様で現実的な深層学習タスクにおいて、最適化手法を公平かつ再現可能に比較できるか？
• RQ2 最適化手法ベンチマークにおいて報告すべき主要なパフォーマンス指標（最終的性能、速度、チューニングのしやすさ）は何か？
• RQ3 標準的最適化手法（SGD、Momentum、Adam）の性能は、損失、精度、収束速度の観点から、さまざまな深層学習問題でどのように変動するか？
• RQ4 ハイパーパramータの感度（例：学習率）は、さまざまなアーキテクチャーやデータセットにおいて、最適化手法の性能にどの程度影響を与えるか？
• RQ5 標準的で自動化されたベンチマークスイートは、新しい最適化手法の評価におけるバイアスと作業負荷をどの程度低減できるか？

主な発見

• Adam や SGD や Momentum といった最適化手法の性能は、タスクによって顕著に異なるため、すべての問題で優位な最適化手法は存在しない。
• Adam は一貫して高いテスト精度（例：Wide ResNet を用いた SVHN では 95.53%）を達成したが、学習率のチューニングが不可欠であり、最適値は 10⁻⁴ から 10⁻³ の範囲にあった。
• SGD や Momentum は特定のタスク（例：SVHN では 95.37%）で優れた性能を示したが、Adam よりも収束に多くの反復回数を要した。
• ベンチマークの結果から、学習率への感受性はすべての最適化手法で比較的低かったが、最適値はタスクによって異なり、例として P1 では α ≈ 0.0398、P8 では α ≈ 1.58 が最適であった。
• 自動化されたベンチマークと事前計算済みのベースラインのおかげで、ベースラインの再実行の必要がなくなり、評価の公平性が保たれ、バイアスが低減された。
• 複数回の実行における訓練セットおよびテストセットの指標（損失と精度）の両方を含めることで、最適化手法のパフォーマンスを現実的で頑健に評価できることが示された。