[論文レビュー] Do optimization methods in deep learning applications matter?

Buse Melis Özyıldırım, Mariam Kiran|arXiv (Cornell University)|Feb 28, 2020

Advanced Neural Network Applications参考文献 19被引用数 5

ひとこと要約

本稿では、分類（CIFAR、MNIST）および強化学習（CartPole、FlappyBird）の応用において、第一および第二階微分最適化手法（SGD、CG、L-BFGS、Levenberg-Marquardt（LM））を評価している。LMは優れた収束を達成するが、バッチ処理を要しミニバッチ非対応であるため、計算コストが非常に高くなる。SGDおよびCGは高速なトレーニングを実現するが収束性能は劣り、速度と精度のトレードオフが顕著である。

ABSTRACT

With advances in deep learning, exponential data growth and increasing model complexity, developing efficient optimization methods are attracting much research attention. Several implementations favor the use of Conjugate Gradient (CG) and Stochastic Gradient Descent (SGD) as being practical and elegant solutions to achieve quick convergence, however, these optimization processes also present many limitations in learning across deep learning applications. Recent research is exploring higher-order optimization functions as better approaches, but these present very complex computational challenges for practical use. Comparing first and higher-order optimization functions, in this paper, our experiments reveal that Levemberg-Marquardt (LM) significantly supersedes optimal convergence but suffers from very large processing time increasing the training complexity of both, classification and reinforcement learning problems. Our experiments compare off-the-shelf optimization functions(CG, SGD, LM and L-BFGS) in standard CIFAR, MNIST, CartPole and FlappyBird experiments.The paper presents arguments on which optimization functions to use and further, which functions would benefit from parallelization efforts to improve pretraining time and learning rate convergence.

研究の動機と目的

• 第一および第二階微分最適化手法が深層学習の応用に与える性能を評価すること。
• 異なる最適化関数において、収束速度、計算コスト、モデル精度の間のトレードオフを特定すること。
• 高階微分手法（LMおよびL-BFGS）における最適化アルゴリズムの並列化の可能性と利点を調査すること。
• 損失関数の種別およびデータサイズに基づいて、分類および強化学習タスクに最も適した最適化手法を特定すること。
• ラインサーチアルゴリズムおよびバッチ処理の制約が最適化手法の効率性と収束性に与える影響を分析すること。

提案手法

• MNISTおよびCIFARを用いた画像分類、CartPoleおよびFlappyBirdを用いた強化学習の4つのベンチマークデータセットで実験を実施した。
• 同一のハイパーパrameter設定下で、確率的勾配降下法（SGD）、共役勾配法（CG）、L-BFGS、Levenberg-Marquardt（LM）の4つの最適化関数を比較した。
• 複数回の実行において、損失関数の低減度、トレーニング時間、予測精度を測定して収束性を評価した。
• L-BFGSにおけるラインサーチの役割と、収束性および計算コストに与える影響を評価した。
• LMの計算負荷を分析した。LMはすべてのサンプルを一度に処理する必要があるため、ミニバッチを使用できない。
• LMにおける勾配計算およびL-BFGSにおけるラインサーチの並列化可能性を検討し、トレーニング時間を短縮する可能性を調査した。

実験結果

リサーチクエスチョン

• RQ1 分類および強化学習タスクにおいて、第一階微分手法（SGD、CG）と第二階微分手法（L-BFGS、LM）の収束速度および精度を比較するとどうなるか？
• RQ2 バッチサイズおよびミニバッチ処理が、特にLMのような最適化手法の性能と実装可能性に与える影響は何か？
• RQ3 L-BFGSにおけるラインサーチアルゴリズムは収束性および計算コストにどのように影響するか？並列化によって最適化可能か？
• RQ4 LMは計算コストが非常に高いにもかかわらず、どのような状況で他の最適化手法を上回るか？
• RQ5 どの最適化手法が並列化に最も適しており、大規模な深層学習におけるトレーニング効率をどのように向上させられるか？

主な発見

• Levenberg-Marquardt（LM）は、分類および強化学習タスクの両方で最も優れた収束を達成し、SGDおよびCGを顕著に上回った。
• 優れた収束性能にもかかわらず、LMはすべてのトレーニングサンプルを一度に処理する必要があるため、極めて高い計算時間を要し、大規模データには非現実的である。
• SGDおよびCGは高速なトレーニング時間を実現したが、LMに比べて収束性能が劣り、CGはSGDと同等の性能を示した。
• L-BFGSはLMほど収束が良くないが、SGDおよびCGより優れており、特にラインサーチを10イテレーションまで制限した場合に顕著に顕在された。これはラインサーチの設定に敏感であることを示している。
• LMはミニバッチを使用できない。これは、各サンプルごとに勾配を別々に計算する必要があるためであり、小規模でコンパクトなモデルおよび回帰ベースの問題に限定して使用可能である。
• LMにおける勾配計算およびL-BFGSにおけるラインサーチの並列化は、トレーニング時間を顕著に短縮可能であり、第二階微分手法における分散最適化の高い可能性を示唆している。