[論文レビュー] RandomOut: Using a convolutional gradient norm to win The Filter Lottery.

Joseph Cohen, Henry Z. Lo+1 more|arXiv (Cornell University)|Feb 18, 2016

Advanced Neural Network Applications参考文献 4被引用数 6

ひとこと要約

本論文では、予測誤差に最小限の影響を与えるとされる勾配ノルムが小さい畳み込みフィルタを動的に再初期化するRandomOutという手法を提案する。これにより、ネットワークサイズを増加させることなく、モデルの精度が最大1.8%向上する。下位に劣るフィルタに焦点を当てることで、RandomOutはフィルタ設定のより効率的な探索を可能にし、モバイルデプロイメントに適したよりコンパクトで計算効率の良いモデルを実現する。

ABSTRACT

Convolutional neural networks are sensitive to the random initialization of filters. We call this The Filter Lottery (TFL) because the random numbers used to initialize the network determine if you will win and converge to a satisfactory local minimum. This issue forces networks to contain more filters (be wider) to achieve higher accuracy because they have better odds of being transformed into highly discriminative features at the risk of introducing redundant features. To deal with this, we propose to evaluate and replace specific convolutional filters that have little impact on the prediction. We use the gradient norm to evaluate the impact of a filter on error, and re-initialize filters when the gradient norm of its weights falls below a specific threshold. This consistently improves accuracy across two datasets by up to 1.8%. Our scheme RandomOut allows us to increase the number of filters explored without increasing the size of the network. This yields more compact networks which can train and predict with less computation, thus allowing more powerful CNNs to run on mobile devices.

研究の動機と目的

• ランダムなフィルタ初期化がモデルの収束と性能に顕著な影響を与える「フィルタ・ロトゥリー問題」に対処すること。
• 予測への寄与が最小限のフィルタを同定し、交換することで、幅広いネットワークの必要性を低減すること。
• モデルサイズや計算コストを増加させることなく、モデルの精度と効率を向上させること。
• 勾配ノルムに基づく動的再初期化を通じて、フィルタ設定のより効果的な探索を可能にすること。

提案手法

• 本手法は、バックプロパゲーション中の勾配のL2ノルムを用いて、各畳み込みフィルタが誤差に与える寄与度を評価する。
• 勾配ノルムが事前に定めたしきい値未満のフィルタは、予測にほとんど影響を与えないものと特定される。
• これらの低影響フィルタは、新しいランダム重みに再初期化され、代替の特徴学習経路の探索が可能になる。
• 再初期化は学習中に適用され、ネットワークが時間経過とともにフィルタ品質を動的に改善できる。
• 探索と安定性のバランスを取るために、再初期化のしきい値は経験的に設定される。
• 本手法は、アーキテクチャの変更なしに、複数のレイヤーおよびデータセットに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配ノルムが小さいフィルタを同定し、再初期化することで、モデルサイズを増加させずにCNNの性能を向上させることができるか？
• RQ2 動的フィルタ再初期化により、高い精度を達成するために幅広いネットワークに依存する必要が軽減されるか？
• RQ3 勾配ノルムは畳み込み層におけるフィルタ重要性を信頼できる指標として機能するか？
• RQ4 この手法により、より高速に学習が行え、計算量が少ない効率的なモデルが得られるか？
• RQ5 標準的なCNNにおける選択的フィルタ再初期化によって得られる最大の精度向上はどの程度か？

主な発見

• RandomOutは、ネットワーク幅を増加させることなく、2つのベンチマークデータセットで最大1.8%の精度向上を達成した。
• 本手法は、異なるアーキテクチャや学習設定においても一貫して性能を向上させた。
• 低影響フィルタのみを再初期化することで、モデルサイズを維持しつつ、特徴学習の効率性を向上させた。
• 本手法により、フィルタ設定のより効果的な探索が可能になり、幅広いネットワークへの依存が軽減された。
• 結果として得られたモデルはよりコンパクトで計算効率が高く、モバイルデバイスへのデプロイメントに適している。
• 勾配ノルムは、予測への寄与が小さいフィルタを同定するための信頼性があり効果的な指標であることが示された。