[論文レビュー] Not All Samples Are Created Equal: Deep Learning with Importance Sampling

Angelos Katharopoulos, François Fleuret|arXiv (Cornell University)|Mar 2, 2018

Machine Learning and Data Classification被引用数 107

ひとこと要約

この論文は、深層学習における SGD のための原理に基づく重要サンプリング手法を導入し、情報量の多い例に対する計算を集中させるべく、各サンプルの勾配ノルムの効率的に計算可能な上限を用いる。結果として、CNN、RNN、およびファインチューニングタスク全般において分散削減と実時間スピードアップをもたらす。

ABSTRACT

Deep neural network training spends most of the computation on examples that\nare properly handled, and could be ignored. We propose to mitigate this\nphenomenon with a principled importance sampling scheme that focuses\ncomputation on "informative" examples, and reduces the variance of the\nstochastic gradients during training. Our contribution is twofold: first, we\nderive a tractable upper bound to the per-sample gradient norm, and second we\nderive an estimator of the variance reduction achieved with importance\nsampling, which enables us to switch it on when it will result in an actual\nspeedup. The resulting scheme can be used by changing a few lines of code in a\nstandard SGD procedure, and we demonstrate experimentally, on image\nclassification, CNN fine-tuning, and RNN training, that for a fixed wall-clock\ntime budget, it provides a reduction of the train losses of up to an order of\nmagnitude and a relative improvement of test errors between 5% and 17%.\n

研究の動機と目的

• 深層ネットワークにおける SGD の一様サンプリングの非効率性を動機づけ、情報量の多いサンプルに焦点を当てて訓練を加速することを目指す。
• 単一の前方パスで計算可能な、各サンプルの勾配ノルムの扱いやすい上限を導出する。
• 重要サンプリングによる分散削減を定量化し、有益な場合にのみISを有効化する基準を確立する。
• 標準の SGD 訓練に組み込んで速度向上を実現できる、シンプルで汎用的なアルゴリズムを提供する。
• 画像分類、ファインチューニング、シーケンス分類タスクで、経験的にアプローチを検証する。

提案手法

• 前方パスで計算可能な、各サンプルの勾配ノルムの上限 hat{G}_{i} を導出する（式13–20）。
• 2段階のサンプリング手法を提案する：大きなバッチ B を事前サンプルし、hat{G}_{i} に比例する分布を計算し、次にその分布から小さなバッチ b をサンプルする。
• 分散削減がISを正当化するかを判断する利益性テストを定式化し、式27から導出される同等のバッチサイズ増分 tau を用いる。
• 式1のアルゴリズムを提示する。 tau_th の閾値と tau の指数移動平均を用いて、一様サンプリングと重要サンプリングを切り替える。
• 分散削減の最適サンプリングは各サンプルの勾配ノルムに比例することを示すが、実用的な実装を可能にする扱いやすい上限を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおいて、各サンプルの勾配ノルムの扱いやすい上限を効率的に計算して重要サンプリングを導くことができるか？
• RQ2 この上限に基づく重要サンプリングは、固定の実時間予算の下でCNN、RNN、およびファインチューニングのシナリオにおいて勾配分散を低減し、訓練を加速するか？
• RQ3 訓練中にいつ重要サンプリングを有効化するのが有益で、どのように信頼性を持って検出できるか？
• RQ4 等時間予算下で、提案されたISスキームは損失ベースのサンプリングおよび一様サンプリングと比較して、訓練損失およびテスト誤差の点でどうか？
• RQ5 実用的な指針（例：事前サンプルサイズ B、小さなバッチ b、閾値 tau_th など）が、アーキテクチャを超えて頑健な速度向上をもたらすのか？

主な発見

• 上限ベースのISは、勾配ノルムベースのサンプリングとほぼ同等の分散削減を生み出し、真の各サンプル勾配ノルムと高度に相関する。
• CIFAR10/CIFAR100 では、本手法が実時間速度向上を達成し、場合によっては訓練損失の低下とテスト誤差の改善を、uniform や loss-based sampling と比較して実現する（例：CIFAR100 はより速い収束とテスト誤差の 5%–？の改善を示す）。
• ファインチューニングでは、半時間以内に uniform sampling と比較して収束を加速し、テスト誤差を低減する（例：MIT67 データセットの結果）。
• LSTM を用いたピクセル単位の MNIST では、固定時間予算内で訓練損失が低く、テスト誤差も改善する一方、損失ベースのサンプリングはパフォーマンスを悪化させる可能性がある。
• このアルゴリズムは、標準の SGD ワークフローで重要サンプリングを有効にするのに1行のコード置換のみを必要とするよう設計されており、訓練中のモデルパラメータの変化にも適応する。
• 分散削減は、実質的にバッチサイズの増加として解釈でき、速度向上を保証する可算基準（tau）を備える。