[論文レビュー] Channel Normalization in Convolutional Neural Network avoids Vanishing Gradients

Zhenwei Dai, Reinhard Heckel|arXiv (Cornell University)|Jul 22, 2019

Neural Networks and Applications参考文献 11被引用数 18

ひとこと要約

本稿では、1枚の画像に対する学習における勾配消失を防ぐために、畳み込みニューラルネットワークにおけるチャネル正規化の有効性を示している。1つの例での学習において、各チャネルを個別に正規化することで勾配が有界のままであり、効率的な最適化が可能になる。一方、正規化がないと、標準的な初期化のもとで収束するまでに指数関数的に多くのステップを要する。

ABSTRACT

Normalization layers are widely used in deep neural networks to stabilize training. In this paper, we consider the training of convolutional neural networks with gradient descent on a single training example. This optimization problem arises in recent approaches for solving inverse problems such as the deep image prior or the deep decoder. We show that for this setup, channel normalization, which centers and normalizes each channel individually, avoids vanishing gradients, whereas, without normalization, gradients vanish which prevents efficient optimization. This effect prevails in deep single-channel linear convolutional networks, and we show that without channel normalization, gradient descent takes at least exponentially many steps to come close to an optimum. Contrary, with channel normalization, the gradients remain bounded, thus avoiding exploding gradients.

研究の動機と目的

• 1枚の画像で学習する畳み込みニューラルネットワークにおける勾配降下法の安定化に、チャネル正規化が果たす役割を調査する。
• 1枚の画像で学習する際の深層線形畳み込みネットワークにおける勾配消失の問題に取り組む。
• 理論的に、チャネル正規化がない場合、勾配降下法が収束するまでに指数関数的に多くのステップを要することを示す。
• チャネル正規化により勾配が有界に保たれ、より速く安定した最適化が可能になることを示す。
• 初期化時および学習中の勾配分布への正規化の影響を評価する。

提案手法

• 巡回行列を用いた1チャネル線形畳み込みネットワークを用いて最適化ダイナミクスをモデル化する。
• チャネル正規化あり・なしの両状態で、二乗損失関数に対して勾配降下法を適用する。
• フーリエ変換を用いて巡回行列を対角化し、問題をn個の1次元最適化問題に簡略化する。
• 損失関数から導出された解析的表現を用いて、初期化時および学習中の勾配ノルムと分布を分析する。
• n=100、d=6の合成データを用いて、経験的分布を用いて正規化あり・なしの勾配を比較する。
• チャネル正規化のスケールおよびシフトパラメータ（γ=1、β=0）を固定し、学習可能なパラメータの影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 チャネル正規化は、1枚の画像で学習する深層畳み込みネットワークにおける勾配消失を防ぐか？
• RQ2 チャネル正規化がない場合、収束に必要な最適化ステップ数は、ネットワークの深さdに対してどのようにスケーリングされるか？
• RQ3 チャネル正規化あり・なしの初期化時の勾配分布はそれぞれどのように異なるか？
• RQ4 正規化は、線形畳み込みネットワークにおける勾配降下法の安定性および収束速度にどのように影響するか？
• RQ5 巡回重みを有する簡略化された線形モデルに対して、理論的収束境界を解析的に導出可能か？

主な発見

• チャネル正規化がない場合、最適解からの距離がc′以内に収束するまでに、少なくともexp(Ω(d))回のステップを要する。これは、大きなステップサイズη ≤ exp(cd)であっても同様である。
• チャネル正規化がある場合、勾配は有界に保たれ、勾配消失および勾配爆発の両方の問題を回避する。
• 経験的結果から、正規化なしの勾配分布は、特に初期化時において、正規化ありのものよりも顕著に重い尾部を持つことが示された。
• 1チャネルおよび多チャネルCNN（ReLU活性化関数を用いる）において、チャネル正規化はより安定的かつ効率的な学習をもたらす。
• 理論的分析により、正規化が勾配を現在の推定値の直交補空間に射影することにより最適化の多様性を安定化させることを確認した。
• スケールおよびシフトパラメータを学習するか、γ=1、β=0に固定するかに関わらず、チャネル正規化の性能は安定である。