[論文レビュー] Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning.

Yuanwei Wu, Ziming Zhang+1 more|arXiv (Cornell University)|Apr 5, 2021

Stochastic Gradient Optimization Techniques参考文献 64被引用数 4

ひとこと要約

本稿では、リプシッツ連続性を活用して、深層学習におけるグローバル最適性を達成するためのステップサイズを適応的に設定する、新しいブランチアンドプルーニング最適化アルゴリズムであるBPGradを提案する。繰り返し行われる探索領域の精錬を通じて、ブランチとプルーニングを組み合わせることで、有限反復内でグローバル最適解への収束を保証し、物体認識、検出、セグメンテーションタスクにおいて、Adam、Adagrad、Adadelta、RMSPropを実験的に上回る性能を発揮する。

ABSTRACT

It has been attracting more and more attention to understand the global optimality in deep learning (DL) recently. However, conventional DL solvers, have not been developed intentionally to seek for such global optimality. In this paper, we propose a novel approximation algorithm, {\em BPGrad}, towards optimizing deep models globally via branch and pruning. The proposed BPGrad algorithm is based on the assumption of Lipschitz continuity in DL, and as a result, it can adaptively determine the step size for the current gradient given the history of previous updates, wherein theoretically no smaller steps can achieve the global optimality. We prove that, by repeating such a branch-and-pruning procedure, we can locate the global optimality within finite iterations. Empirically an efficient adaptive solver based on BPGrad for DL is proposed as well, and it outperforms conventional DL solvers such as Adagrad, Adadelta, RMSProp, and Adam in the tasks of object recognition, detection, and segmentation. The code is available at \url{this https URL}.

研究の動機と目的

• 従来の深層学習ソルバーにおけるグローバル最適性の保証の欠如に対処すること。
• 局所最適解に収束するのではなく、グローバル最小値を体系的かつ体系的に探索する最適化フレームワークの開発。
• ブランチアンドプルーニング戦略を用いて、有限反復内でのグローバル最適性への収束を理論的および実験的に示すこと。
• 下流のビジョンタスクにおいて、Adam、Adagrad、Adadelta、RMSPropといった標準的な適応的最適化手法を凌駕すること。

提案手法

• 深層ニューラルネットワークにおけるリプシッツ連続性の仮定に基づき、勾配の変化を制限する。
• 履歴的な更新を用いてステップサイズを適応的に決定し、グローバル最適性を達成できるより小さいステップが存在しないことを保証する。
• グローバル最適解の周囲の探索空間を狭めるために、繰り返しブランチとプルーニングを適用する。
• リプシッツ仮定の下で、グローバル最小値への有限収束の理論的保証を維持する。
• 実用的な深層学習への導入を想定した、効率的な適応的ソルバーをBPGradから導出する。
• プルーニングによる劣悪な領域の削除を通じて、動的に候補領域を精錬するアプローチ。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ連続性の妥当な仮定の下で、深層学習最適化アルゴリズムがグローバル最適解への収束を保証できるか。
• RQ2 過度に小さなステップを必要とせずに、グローバル最適性を保証するための適応的ステップサイズ選択をどのように形式化できるか。
• RQ3 非凸な深層学習の損失関数において、ブランチアンドプルーニング戦略の理論的収束挙動はいかなるものか。
• RQ4 実際の応用において、提案手法BPGradはAdam や RMSProp といった標準的な適応的最適化手法と比べてどのように差をつけるか。
• RQ5 大規模な深層学習モデルに適用するにあたり、ブランチアンドプルーニングフレームワークは効率的に実装可能か。

主な発見

• リプシッツ連続性の仮定の下で、BPGradは有限反復内でグローバル最適解への収束を保証する。
• 適応的ステップサイズメカニズムにより、劣悪な降下方向を避ける理論的最適性が確保される。
• BPGradに基づく実験的ソルバーは、物体認識、検出、セグメンテーションベンチマークで優れた性能を発揮する。
• BPGradは、すべての評価済みビジョンタスクにおいて、Adam、Adagrad、Adadelta、RMSPropを含む標準的最適化手法を上回る。
• 理論的厳密性を維持しながら、効率的な適応的実装により実用的導入を可能にする。
• BPGradのコードは公開されており、再現性とさらなる研究を支援する。