[論文レビュー] SEBOOST - Boosting Stochastic Learning Using Subspace Optimization Techniques

Elad Richardson, Rom Herskovitz+2 more|arXiv (Cornell University)|Sep 2, 2016

Metaheuristic Optimization Algorithms Research被引用数 5

ひとこと要約

SEBOOSTは、蓄積された勾配降下ステップと方向の上に二次的な部分空間最適化を適用することで、ベースアルゴリズムを変更せずに最適化の収束性とロバスト性を向上させる。深層学習タスクにおいては最小限の計算オーバーヘッドで優れた性能を発揮し、ベースラインとブースティングステップのバランスを制御するための2つのハイパーパrameterのみを用いる。

ABSTRACT

We present SEBOOST, a technique for boosting the performance of existing stochastic optimization methods. SEBOOST applies a secondary optimization process in the subspace spanned by the last steps and descent directions. The method was inspired by the SESOP optimization method for large-scale problems, and has been adapted for the stochastic learning framework. It can be applied on top of any existing optimization method with no need to tweak the internal algorithm. We show that the method is able to boost the performance of different algorithms, and make them more robust to changes in their hyper-parameters. As the boosting steps of SEBOOST are applied between large sets of descent steps, the additional subspace optimization hardly increases the overall computational burden. We introduce two hyper-parameters that control the balance between the baseline method and the secondary optimization process. The method was evaluated on several deep learning tasks, demonstrating promising results.

研究の動機と目的

• 既存の確率的最適化アルゴリズムの内部メカニズムを変更せずに、汎用的な手法を構築すること。
• 深層学習の学習において、収束速度とハイパーパrameter選択へのロバスト性を向上させること。
• ベースラインステップのバッチ間でのみ間隔をあけて二次的最適化を適用することで、計算オーバーヘッドを最小限に抑えること。
• 部分空間構造（アンカーポイントやモーメンタムなど）が最適化性能に与える影響を調査すること。
• さまざまな最適化ベースラインや将来の拡張（分散型やプルーニング付き最適化など）への柔軟な統合を可能にすること。

提案手法

• SEBOOSTは、ベースの確率的アルゴリズムからの累積的勾配降下ステップと過去の方向が張る低次元部分空間において、二次的最適化を適用する。
• 本手法は、複数のベースライン最適化ステップ（例：SGD、Adam）と、損失関数をアフィン部分空間上で最小化する1回の部分空間最適化ステップを交互に繰り返す。
• 部分空間には、直近の幾つかの降下方向が含まれ、さらに事前に定義されたr値を持つアンカーポイントやモーメンタムベクトルなどの追加ベクトルがオプションで含まれる。
• 部分空間最適化は、ラインサーチまたはトラスト領域法を用いた類似アプローチにより解かれる。
• 本プロセスを制御する2つの主要なハイパーパrameterがある：M（ブースティングステップの前に実行するベースラインステップ数）とℓ（ブースティングステップの頻度、例：1エポックごと）。
• 部分空間がいっぱいになった場合、最も古い方向が破棄されるが、今後の研究ではより高度なプルーニング戦略の提案がなされる。

実験結果

リサーチクエスチョン

• RQ1 低次元部分空間における二次的最適化が、標準的な確率的最適化手法の性能を顕著に向上させ得るか？
• RQ2 SEBOOSTは、さまざまな深層学習タスクにおいて収束速度と最終的な一般化誤差にどのように影響を与えるか？
• RQ3 SEBOOSTは、ベースライン最適化器のハイパーパrameter選択に対する感度をどの程度低減するか？
• RQ4 アンカーポイントやモーメンタムなどの異なる部分空間成分が、SEBOOSTのパフォーマンスに与える影響は何か？
• RQ5 SEBOOSTは、分散型または並列処理フレームワークへ効率的に拡張可能か？

主な発見

• SEBOOSTは、MNISTオートエンコーダーや画像分類を含む複数の深層学習タスクにおいて、収束速度と最終損失の両方を顕著に改善した。
• MNISTオートエンコーダーの例では、M=20で実行したSEBOOSTはM=50と同等の最小損失に到達したが、より早く降下を開始したため、速度と精度の間で有利なトレードオフを実現した。
• ベースラインの学習率の変更に対しても、SEBOOSTはロバストであることが示された。性能の劣化は、ブースティングなしのベースラインに比べて顕著に小さかった。
• r=500, 250, 100, 50, 20のアンカーポイントを追加するとパフォーマンスが顕著に向上したが、モーメンタムベクトルは僅かな利点しかもたらさず、アンカーポイントと併用した場合には逆に結果を悪化させる場合もあった。
• SEBOOSTの計算コストは低く保たれた。二次的最適化は、ベースラインステップの数回に1回しか適用されないため、大規模モデルに対してもスケーラブルである。
• SEBOOSTは、内部ロジックを変更せずに、あらゆる既存の最適化器に追加して適用可能であり、モジュラーで容易に統合可能な特徴を持つ。