[論文レビュー] Not All Samples Are Created Equal: Deep Learning with Importance Sampling

Angelos Katharopoulos, François Fleuret|arXiv (Cornell University)|Mar 2, 2018

Advanced Neural Network Applications参考文献 30被引用数 106

ひとこと要約

本論文は、深層学習における重要度サンプリング手法を提案し、サンプルごとの勾配ノルムの上限を設定して情報量の多い例に計算資源を集中させ、分散削減と実行時間の速度向上を達成し、訓練損失と検証精度の改善を得る。

ABSTRACT

Deep neural network training spends most of the computation on examples that are properly handled, and could be ignored. We propose to mitigate this phenomenon with a principled importance sampling scheme that focuses computation on "informative" examples, and reduces the variance of the stochastic gradients during training. Our contribution is twofold: first, we derive a tractable upper bound to the per-sample gradient norm, and second we derive an estimator of the variance reduction achieved with importance sampling, which enables us to switch it on when it will result in an actual speedup. The resulting scheme can be used by changing a few lines of code in a standard SGD procedure, and we demonstrate experimentally, on image classification, CNN fine-tuning, and RNN training, that for a fixed wall-clock time budget, it provides a reduction of the train losses of up to an order of magnitude and a relative improvement of test errors between 5% and 17%.

研究の動機と目的

• 情報価値の低い訓練サンプルに対する無駄な計算を減らす動機。
• 1回のフォワードパスで計算可能な、サンプルごとの勾配ノルムの扱いやすい上限を開発する。
• 重要度サンプリングによる分散削減を定量化し、それが実際の速度向上をもたらす時を決定する。
• 標準的な SGD に組み込める実用的なアルゴリズムを提供して訓練を加速する。

提案手法

• 1回のフォワードパスから計算できるサンプルごとの勾配ノルムの上限を導出する（Eq. 20）。
• 上限に比例する確率でサンプリングして確率的勾配推定の分散を最小化する重要度サンプリング手法を提案する。
• 分散削減を推定し、それをバッチサイズの等価増加に関連付けてサンプリングの有効化時期を決定する（Eq. 27）。
• 二段階サンプリング手法を用いる：大きなバッチを事前サンプルして分布を形成し、次に置換ありで小さなバッチをサンプルする。
• 重要度サンプリングが速度アップをもたらすかどうかに適応するアルゴリズム（Algorithm 1）を提供し、1行のコードでKerasのワークフローに組み込むことができる。

実験結果

リサーチクエスチョン

• RQ1 サンプルごとの勾配ノルムの効率的に計算可能な上限は、深層ネットワークにおける効果的な重要度サンプリングを導くことができるか。
• RQ2 重要度サンプリングは勾配の分散を低減し、アーキテクチャやタスクを超えて実用的な壁時計時間の短縮に結びつくか。
• RQ3 トレーニングを一様サンプリングから重要度サンプリングへ切り替えるべきタイミングはいつか、速度向上を保証するためには。
• RQ4 提案された上限は、損失ベースや真の勾配ノルムベースのサンプリングと比べて分散削減の観点でどのように比較されるか。

主な発見

• 提案された上限を用いた重要度サンプリングは分散削減を達成し、固定時間予算で壁時計時間の速度向上をもたらすことができる。
• CIFAR-10/100 では訓練損失を削減し、CIFAR-100 では一様サンプリングと比較して検証誤差が約5%改善。
• ファインチューニングおよびLSTM系列訓練では、実用的な時間内に収束を加速し、検証誤差を有意な幅で低減。
• 損失ベースのサンプリングと比較して、上限ベースの手法は分散削減がより一貫し、タスクを跨いで堅牢な性能を提供する。
• この上限は、標準のSGDパイプラインで1行のコードで有効化できる、シンプルで実装しやすい拡張を可能にする。