[論文レビュー] Order and Chaos: NTK views on DNN Normalization, Checkerboard and Boundary Artifacts

Arthur Paul Jacot, Franck Gabriel+2 more|arXiv (Cornell University)|Jul 11, 2019

Parallel Computing and Optimization Techniques参考文献 29被引用数 12

ひとこと要約

この論文は、深層ニューラルネットワークの解析にニューラルタングエント・カーネル（NTK）を用い、アーキテクチャの選択によって支配される2つの状態—順序と混沌—を特定している。Layer NormalizationとBatch Normalizationがネットワークを混沌の状態に押し込み、GANにおけるチェッカーパattersやモード崩壊を防ぐことを示している。一方で、バッチ正規化に依存せずに訓練安定性とサンプル品質を向上させるために、グラフベースのパrametrizationとレイヤー依存の学習率を提案している。

ABSTRACT

We analyze architectural features of Deep Neural Networks (DNNs) using the so-called Neural Tangent Kernel (NTK), which describes the training and generalization of DNNs in the infinite-width setting. In this setting, we show that for fully-connected DNNs, as the depth grows, two regimes appear: "order", where the (scaled) NTK converges to a constant, and "chaos", where it converges to a Kronecker delta. Extreme order slows down training while extreme chaos hinders generalization. Using the scaled ReLU as a nonlinearity, we end up in the ordered regime. In contrast, Layer Normalization brings the network into the chaotic regime. We observe a similar effect for Batch Normalization (BN) applied after the last nonlinearity. We uncover the same order and chaos modes in Deep Deconvolutional Networks (DC-NNs). Our analysis explains the appearance of so-called checkerboard patterns and border artifacts. Moving the network into the chaotic regime prevents checkerboard patterns; we propose a graph-based parametrization which eliminates border artifacts; finally, we introduce a new layer-dependent learning rate to improve the convergence of DC-NNs. We illustrate our findings on DCGANs: the ordered regime leads to a collapse of the generator to a checkerboard mode, which can be avoided by tuning the nonlinearity to reach the chaotic regime. As a result, we are able to obtain good quality samples for DCGANs without BN.

研究の動機と目的

• バッチ正規化やレイヤー正規化といった正規化手法がDNNの学習ダイナミクスに与える理論的影響を理解すること。
• deconvolutionalネットワークにおけるチェッカーパattersや境界アーティファクトの発生をNTKフレームワークを用いて説明すること。
• バッチ正規化に依存せずにGANにおけるモード崩壊を回避するためのアーキテクチャ的・最適化的改善を考案すること。
• 無限幅ネットワークにおける順序〜混沌の遷移と、深層生成モデルにおける実際の学習行動との間に、関連性を確立すること。

提案手法

• 完全結合ネットワークおよびdeconvolutionalネットワークを、無限幅極限においてNTKを用いて分析し、重みとバイアスの寄与度を検討する。
• さまざまな非線形関数および正規化方式におけるNTKの極限的挙動を導出し、定数NTKを示す「順序」状態と、Kroneckerデルタに収束する「混沌」状態を特定する。
• 重み共有構造を変更することで、deconvolutionalネットワークにおける境界アーティファクトを排除するためのグラフベースのパrametrizationを提案する。
• 各レイヤーの寄与度をバランスさせるために、レイヤー依存の学習率を導入し、深層生成モデルにおける収束性を向上させる。
• スケーリングされたReLU非線形関数を用い、それがネットワークを順序状態に引きずり込む効果を分析する。一方で、レイヤー正規化は混沌の方向にシフトすることを対比的に示す。
• 理論的予測をDCGAN上で数値的に検証し、バッチ正規化を用いずに良好なサンプル品質が得られることを示している。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化やレイヤー正規化といった正規化手法が、深層ネットワークにおけるNTKと学習ダイナミクスに与える影響は何か？
• RQ2 なぜdeconvolutionalネットワークにチェッカーパattersや境界アーティファクトが発生するのか。理論的にどのように説明できるか？
• RQ3 アーキテクチャの選択によってNTKの混沌の状態を達成できるか。GANにおけるモード崩壊の回避に役立つのか？
• RQ4 非線形関数とパrametrizationは、深層ネットワークにおけるNTKの極限的挙動を決定づける役割を果たすのか？
• RQ5 学習率スケジューリングを、NTKフレームワークにおけるレイヤーごとの寄与度に合わせてどのように調整できるか？

主な発見

• レイヤー正規化は完全結合ネットワークを混沌の状態にシフトさせ、NTKがKroneckerデルタに収束する。これにより一般化性能が向上し、モード崩壊が回避される。
• 最終非線形関数の後にバッチ正規化を適用すると、deconvolutionalネットワークにおいても混沌のNTK状態が誘発され、チェッカーパattersが抑制される。
• 標準的なdeconvolutionalネットワークのパrametrizationは、非一様なNTK寄与度により境界アーティファクトを引き起こすが、提案されたグラフベースのパrametrizationによってこれを解消できる。
• レイヤー依存の学習率を用いることで、各レイヤーがNTKに与える寄与度がバランスされ、深層生成モデルにおける収束性が向上する。
• バッチ正規化を用いない単純なDCGANであっても、非線形関数の正規化と適切なハイパーパramータチューニングにより混沌の状態に押し込むことで、高品質なサンプルを生成可能となる。
• スケーリングReLUを用いた順序状態では、生成器がチェッカーモードに崩壊するが、ネットワークを混沌の状態にシフトさせることでこれを回避できる。