[論文レビュー] RandomOut: Using a convolutional gradient norm to rescue convolutional filters

Joseph Cohen, Henry Z. Lo+1 more|arXiv (Cornell University)|Feb 18, 2016

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 5

ひとこと要約

RandomOutは、勾配ノルムが低い（損失低減に寄与が小さい）畳み込みフィルタを特定し、再初期化することで畳み込みニューラルネットワークの学習安定性と精度を向上させる。これにより、ネットワークサイズを拡大せずに探索可能な有効なフィルタ数を増加できる。28x28 Inception-V3において中央値のテスト精度を+3.3%向上させ、乱数シードによる性能ばらつきを2%から1.3%に低減した。

ABSTRACT

Filters in convolutional neural networks are sensitive to their initialization. The random numbers used to initialize filters are a bias and determine if you will "win" and converge to a satisfactory local minimum so we call this The Filter Lottery. We observe that the 28x28 Inception-V3 model without Batch Normalization fails to train 26% of the time when varying the random seed alone. This is a problem that affects the trial and error process of designing a network. Because random seeds have a large impact it makes it hard to evaluate a network design without trying many different random starting weights. This work aims to reduce the bias imposed by the initial weights so a network converges more consistently. We propose to evaluate and replace specific convolutional filters that have little impact on the prediction. We use the gradient norm to evaluate the impact of a filter on error, and re-initialize filters when the gradient norm of its weights falls below a specific threshold. This consistently improves accuracy on the 28x28 Inception-V3 with a median increase of +3.3%. In effect our method RandomOut increases the number of filters explored without increasing the size of the network. We observe that the RandomOut method has more consistent generalization performance, having a standard deviation of 1.3% instead of 2% when varying random seeds, and does so faster and with fewer parameters.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の学習が重み初期化のランダム性に極めて敏感であるという問題、いわゆる「フィルタの運試し（The Filter Lottery）」に起因する収束の不一致と性能のばらつきを是正すること。
• 初期重みが良い局所最適解に到達するのを妨げるバイアスを軽減すること。
• ネットワークの深さや幅を増加させることなく、一般化の整合性と精度を向上させること。
• バッチ正則化の計算コストを回避する、軽量でトレーニング時のみに適用可能な正則化手法を開発すること。

提案手法

• 本手法は、損失関数に対するフィルタ重みの勾配のL2ノルムである畳み込み勾配ノルム（CGN）を用いて、各畳み込みフィルタの損失低減への寄与度を評価する。
• CGN値がしきい値τ未満のフィルタは「放棄された」ものとされ、学習中に新しいランダム重みに再初期化される。
• 再初期化はバッチ単位の間隔で動的に実行され、モデルサイズを拡大せずに代替的なフィルタ設定の探索が可能になる。
• しきい値τは非常に小さい値（0に近い）に設定され、再初期化確率Pは1に設定され、低影響フィルタはすべて置き換えられる。
• 本手法は学習時のみに適用され、推論時やテスト時のアーキテクチャに変更は加えない。
• 本手法は、CIFAR-10データセットを用い、28x28 Inception-V3モデルおよび小型のCraterCNNを用いて、RandomOut有り・無しの両条件で性能を比較評価した。

実験結果

リサーチクエスチョン

• RQ1 勾配ノルムが低いフィルタを特定し、再初期化することで、CNNの学習安定性と一般化性能が向上するか？
• RQ2 異なる乱数シードによるテスト精度のばらつきは、RandomOutによってどの程度低減されるか？
• RQ3 パrameter数を増加させることなく、RandomOutが幅広いネットワークと同等の性能を達成できるか？
• RQ4 勾配ダイナミクスと学習安定性の観点から、RandomOutはバッチ正則化（Batch Normalization）と比較してどの程度優れているか？

主な発見

• RandomOutは、28x28 Inception-V3モデルにおいて、ベースラインと比較して中央値のテスト精度を+3.3%向上させた。
• RandomOutを適用した場合、乱数シードによる性能ばらつきは2%から1.3%に低下し、学習結果の整合性が著しく向上した。
• フィルタ数を変化させた実験から、本手法はネットワークに1〜2個の追加フィルタを設けた場合と同等の性能を達成したことが示された。
• RandomOutは、フィルタを動的に再初期化しながらも、安定した学習およびテスト精度を維持した。
• RandomOutを用いた場合、CGNの平均値は時間経過とともに上昇し、フィルタの有効利用が向上していることが示された。一方、BatchNormは勾配を制約し、この上昇を抑制した。
• 重みの再初期化を行っても、性能に悪影響を及げなかった。これは、最小限の勾配影響しか持たないフィルタのみが置き換えられたためである。