[論文レビュー] Freeze and Chaos for DNNs: an NTK view of Batch Normalization, Checkerboard and Boundary Effects.

Arthur Paul Jacot, Franck Gabriel+1 more|arXiv (Cornell University)|Jul 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 21

ひとこと要約

本稿では、ニューラルトランジションカーネル（NTK）を用いて深層ニューラルネットワーク（DNN）を分析し、深さと非線形性に支配される2つの状態—凍結状態とカオス状態—を特定した。バッチ正規化と正規化された非線形性が、DCGANにおける生成器の崩壊を引き起こす凍結状態を回避することを示し、境界アーチファクトの削除と収束性の向上を実現するため、層依存の学習率とNTKに基づくパrametrizationを提案した。

ABSTRACT

In this paper, we analyze a number of architectural features of Deep Neural Networks (DNNs), using the so-called Neural Tangent Kernel (NTK). The NTK describes the training trajectory and generalization of DNNs in the infinite-width limit. In this limit, we show that for (fully-connected) DNNs, as the depth grows, two regimes appear: freeze (also known as order), where the (scaled) NTK converges to a constant (slowing convergence), and chaos, where it converges to a Kronecker delta (limiting generalization). We show that when using the scaled ReLU as a nonlinearity, we naturally end up in the freeze. We show that Batch Normalization (BN) avoids the freeze regime by reducing the importance of the constant mode in the NTK. A similar effect is obtained by normalizing the nonlinearity which moves the network to the chaotic regime. We uncover the same freeze and chaos modes in Deep Deconvolutional Networks (DC-NNs). The freeze regime is characterized by checkerboard patterns in the image space in addition to the constant modes in input space. Finally, we introduce a new NTK-based parametrization to eliminate border artifacts and we propose a layer-dependent learning rate to improve the convergence of DC-NNs. We illustrate our findings by training DCGANs using our setup. When trained in the freeze regime, we see that the generator collapses to a checkerboard mode. We also demonstrate numerically that the generator collapse can be avoided and that good quality samples can be obtained, by tuning the nonlinearity to reach the chaos regime (without using batch normalization).

研究の動機と目的

• ニューラルトランジションカーネル（NTK）を用いて、バッチ正規化や非線形性の正規化といったアーキテクチャ的要因がDNN学習ダイナミクスに与える影響を理解すること。
• NTK分析を用いて、深層全結合ネットワークおよびデコンボリューションネットワークにおける凍結状態とカオス状態の同定と特徴化を行うこと。
• 非線形性の調整またはアーキテクチャ的変更により、凍結状態を回避することでDCGANにおける生成器の崩壊を是正すること。
• 新しいNTKに基づくパrametrizationを用いて、深層デコンボリューションネットワークにおける境界アーチファクトを除去すること。
• NTK理論に裏付けられた層依存の学習率戦略を用いて、学習収束性を向上させること。

提案手法

• 全結合DNNの無限幅極限をNTKを用いて分析し、NTKが定数に収束する（凍結）か、クロネッカー・デルタに収束する（カオス）かの条件を導出する。
• スケーリングされたReLUを非線形性として用いる場合、NTKの定数モードが支配的となり、自然に凍結状態に至ることを示す。
• バッチ正規化がNTKにおける定数モードの寄与を低減することで、ネットワークがカオス状態にシフトすることを示す。
• 同じNTKフレームワークを深層デコンボリューションネットワーク（DC-NNs）に適用し、画像空間に現れるチェッカーパattersが凍結状態の兆候であることを明らかにする。
• 核構造を変更することで、境界アーチファクトを除去する新しいNTKに基づくパrametrizationを提案する。
• NTKの深さ依存挙動に一致するように設計された層依存の学習率を導入し、収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層全結合ネットワークの無限幅極限における2つの明確な学習状態、すなわち凍結状態とカオス状態とは何か。また、これらはNTKからどのように生じるか。
• RQ2 バッチ正規化は、NTKにおける定数モードをどのように変更することで、ネットワークが凍結状態に入ることを防ぐのか。
• RQ3 バッチ正規化の代わりに非線形性を正規化することで、ネットワークがカオス状態にシフトする可能性はあるか。
• RQ4 チェッカーパターンは、深層デコンボリューションネットワークの画像空間においてどのような役割を果たし、凍結状態とどのように関連しているか。
• RQ5 新しいNTKに基づくパrametrizationにより、深層デコンボリューションネットワークにおける境界アーチファクトを除去できるか。また、層依存の学習率は収束性を向上させるか。

主な発見

• スケーリングされたReLUを用いた深層全結合ネットワークのNTKは、凍結状態において定数に収束し、収束が遅く一般化性能が劣ることが判明した。
• バッチ正規化により、NTKにおける定数モードの寄与が低減され、結果として凍結状態を効果的に回避し、収束が速くなった。
• バッチ正規化ではなく非線形性を正規化することで、NTKがクロネッカー・デルタに収束するカオス状態にネットワークがシフトし、一般化性能が向上した。
• 生成モデルにおけるモード崩壊の兆候として、深層デコンボリューションネットワークの画像空間に凍結状態でチェッカーパターンが出現した。
• 提案されたNTKに基づくパrametrizationにより、深層デコンボリューションネットワークにおける境界アーチファクトが効果的に除去され、サンプル品質が向上した。
• NTK理論に基づく層依存の学習率戦略により、特にカオス状態において、深層デコンボリューションネットワークの学習収束性が顕著に向上した。