[論文レビュー] A Resizable Mini-batch Gradient Descent based on a Randomized Weighted Majority

Seong Jin Cho, Sunghun Kang+1 more|arXiv (Cornell University)|Jan 1, 2017

Machine Learning and ELM被引用数 2

ひとこと要約

本稿では、過去の性能と検証誤差に基づいた確率分布を用いて、各エポックでバッチサイズを動的に選択する、可変バッチサイズ勾配降下法（RMGD）を提案する。新しいバッチサイズの探索と成功したものの活用のバランスを取ることで、固定バッチサイズのベースラインおよびグリッドサーチを上回る精度と学習速度を達成する。

ABSTRACT

Determining the appropriate batch size for mini-batch gradient descent is always time consuming as it often relies on grid search. This paper considers a resizable mini-batch gradient descent (RMGD) algorithm-inspired by the randomized weighted majority algorithm-for achieving best performance in grid search by selecting an appropriate batch size at each epoch with a probability defined as a function of its previous success/failure and the validation error. This probability encourages exploration of different batch size and then later exploitation of batch size with history of success. At each epoch, the RMGD samples a batch size from its probability distribution, then uses the selected batch size for mini-batch gradient descent. After obtaining the validation error at each epoch, the probability distribution is updated to incorporate the effectiveness of the sampled batch size. The RMGD essentially assists the learning process to explore the possible domain of the batch size and exploit successful batch size. Experimental results show that the RMGD achieves performance better than the best performing single batch size. Furthermore, it attains this performance in a shorter amount of time than that of the best performing. It is surprising that the RMGD achieves better performance than grid search.

研究の動機と目的

• ミニバッチ勾配降下法におけるバッチサイズ選択の時間的コストを軽減すること。従来はグリッドサーチに依存している。
• 学習中に適応的バッチサイズ選択を可能にすることで、膨大なハイパーパramータチューニングの必要性を低減すること。
• バッチサイズ設定の知的探索と活用を通じて、モデルの汎化性能と収束速度を向上させること。
• グリッドサーチで得られる最良の単一バッチサイズを上回る性能を達成する手法を開発すること。

提案手法

• RMGDアルゴリズムは、各バッチサイズの過去の成功度（検証誤差の低減度）に基づいて、可能なバッチサイズの確率分布を維持する。
• 各エポックにおいて、確率分布からランダムに重み付き多数決メカニズムを用いてバッチサイズをサンプリングする。
• 各エポック後に検証データセット上でモデルの性能を評価し、サンプリングされたバッチサイズの有効性を評価する。
• 確率分布は重み付き多数決ルールを用いて更新され、より低い検証誤差をもたらすバッチサイズの選択確率が向上する。
• 適応的確率再重み付けを通じて、新しいバッチサイズの試行（探索）と過去に成功したサイズの好ましさ（活用）のバランスを取る。
• コアなメカニズムは、成功／失敗のフィードバックと検証誤差の大きさを組み込む確率更新ルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 動的バッチサイズ選択戦略は、モデルの精度と学習効率において、固定バッチサイズ設定を上回ることができるか？
• RQ2 適応的バッチサイズメカニズムは、ハイパーパramータチューニングにおけるグリッドサーチの必要性をどの程度低減できるか？
• RQ3 バッチサイズ選択における探索と活用のバランスは、より速い収束とより良い汎化性能をもたらすか？
• RQ4 ランダム化された重み付き多数決アプローチは、学習中のバッチサイズ適応を効果的に導けるか？

主な発見

• RMGDは、グリッドサーチで特定された最良の単一バッチサイズよりも優れた汎化性能を達成する。
• RMGDは、最良の固定バッチサイズよりも少ない学習時間で優れたモデル性能に到達する。
• アルゴリズムは学習の初期段階で多様なバッチサイズを効果的に探索し、次第に最も成功した設定を活用する。
• 動的適応メカニズムにより、静的バッチサイズ戦略と比較して、より速い収束と改善された検証誤差が得られる。