[論文レビュー] Efficient Per-Example Gradient Computations

Ian Goodfellow|arXiv (Cornell University)|Oct 7, 2015

Stochastic Gradient Optimization Techniques参考文献 1被引用数 32

ひとこと要約

この論文は、ニューラルネットワーク学習中のミニバッチ内の各サンプルについて、例ごとの勾配のL²ノルムを効率的に計算する手法を提案する。標準的な誤差逆伝搬の計算を再利用し、二乗活性化値と勾配を含む行列式の公式を適用することで、計算コストを2倍から無視できるオーバーヘッドにまで低減し、実用的な重要度サンプリングと勾配に基づく解析を可能にする。

ABSTRACT

This technical report describes an efficient technique for computing the norm of the gradient of the loss function for a neural network with respect to its parameters. This gradient norm can be computed efficiently for every example.

研究の動機と目的

• ミニバッチ内の個々の例について、モデルパラメータに関する勾配のL²ノルムを効率的に計算すること。
• ミニバッチに含まれるm個の例に対してバックプロパゲーションをm回単独で実行するという非効率な方法を是正すること。
• 勾配ノルムが大きい例を優先して学習に取り込む重要度サンプリングなどの応用を支援すること。
• 特に大規模モデルや大規模ミニバッチにおいて、標準的なバックプロパゲーションに追加する計算コストを最小限に抑えること。

提案手法

• Z（層間の前活性化値）に関する∇Z Cの標準的なバックプロパゲーション計算を再利用する。
• 次の公式を導入する：s_j^(i) = (Σ_k (Z̄_j,k^(i))²) × (Σ_k (H_j,k^(i-1))²)，ここでZ̄は総損失に対するZの勾配であり、H^(i-1)は直前層の活性化値である。
• √(Σ_i s_j^(i)) を用いて例ごとの勾配ノルムを計算することで、各例の勾配の大きさを効率的に分析可能となる。
• 全ミニバッチを1回の順方向および逆方向パスで処理することで、繰り返しバックプロパゲーションを実行する必要を回避する。
• Z̄値を変更して最終的なバックプロパゲーションステップを再実行することで、例ごとの勾配ノルム制約を適用可能に拡張する。
• すべての例に対して同時に例ごとのノルムを効率的に計算できるように、H^(i)およびZ^(i)の行列表現を用いる。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチに含まれるm個の例に対してバックプロパゲーションをm回実行するのではなく、例ごとの勾配ノルムを効率的に計算できるか？
• RQ2 標準的なバックプロパゲーションと比較して、例ごとの勾配ノルムを計算する際の計算オーバーヘッドはどの程度か？
• RQ3 勾配ノルムを用いることで、重要度サンプリングによる学習効率の向上はどのように達成できるか？
• RQ4 計算効率を維持したまま、例ごとに勾配ノルム制約を適用できるか？
• RQ5 ミニバッチ並列処理が、例ごとの勾配計算のパフォーマンスに与える影響は何か？

主な発見

• 提案手法は、標準的なバックプロパゲーションに加えてO(mnp)の追加演算で例ごとの勾配ノルムを計算可能であり、これは漸近的に無視できる。
• バックプロパゲーション計算∇Z Cを再利用することで、各例ごとに勾配を別々に再計算する必要がなくなる。
• ミニバッチサイズ1でバックプロパゲーションをm回実行するナチュラルなアプローチは、計算コストがおおよそ2倍に増加するため、大規模学習には実用的でない。
• 小さなバッチでのバックプロパゲーションの非効率性のため、漸近的解析が示唆するよりも、ナチュラルな手法と提案手法のパフォーマンス差は実際にははるかに大きい。
• 高い勾配ノルムを持つ例を効率的に特定できるため、この手法により重要度サンプリングの実用的実装が可能になる。
• Z̄を更新して最終的なバックプロパゲーションステップを再実行することで、ノルムの正規化などの後処理によるノルムの変更が可能になる。