[논문 리뷰] Freeze and Chaos for DNNs: an NTK view of Batch Normalization, Checkerboard and Boundary Effects.

Arthur Paul Jacot, Franck Gabriel외 1명|arXiv (Cornell University)|2019. 07. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 21

한 줄 요약

이 논문은 신경미분기호 커널(NTK)을 사용하여 딥 신경망(DNNs)을 분석하며, 깊이와 비선형성에 의해 지배되는 두 가지 제어 모드인 '정지'와 '혼돈'을 밝혀낸다. 이는 배치 정규화(Batch Normalization)와 정규화된 비선형성들이 DCGAN에서 생성자 붕괴를 유발하는 정지 모드를 피할 수 있음을 보여주며, 경계 아티팩트를 제거하고 수렴성을 향상시키기 위해 계층별 학습률과 NTK 기반 파arametrization을 제안한다.

ABSTRACT

In this paper, we analyze a number of architectural features of Deep Neural Networks (DNNs), using the so-called Neural Tangent Kernel (NTK). The NTK describes the training trajectory and generalization of DNNs in the infinite-width limit. In this limit, we show that for (fully-connected) DNNs, as the depth grows, two regimes appear: freeze (also known as order), where the (scaled) NTK converges to a constant (slowing convergence), and chaos, where it converges to a Kronecker delta (limiting generalization). We show that when using the scaled ReLU as a nonlinearity, we naturally end up in the freeze. We show that Batch Normalization (BN) avoids the freeze regime by reducing the importance of the constant mode in the NTK. A similar effect is obtained by normalizing the nonlinearity which moves the network to the chaotic regime. We uncover the same freeze and chaos modes in Deep Deconvolutional Networks (DC-NNs). The freeze regime is characterized by checkerboard patterns in the image space in addition to the constant modes in input space. Finally, we introduce a new NTK-based parametrization to eliminate border artifacts and we propose a layer-dependent learning rate to improve the convergence of DC-NNs. We illustrate our findings by training DCGANs using our setup. When trained in the freeze regime, we see that the generator collapses to a checkerboard mode. We also demonstrate numerically that the generator collapse can be avoided and that good quality samples can be obtained, by tuning the nonlinearity to reach the chaos regime (without using batch normalization).

연구 동기 및 목표

• 신경미분기호 커널(NTK)을 사용하여 배치 정규화와 비선형성 정규화와 같은 아키텍처 구성 요소가 DNN 학습 동역학에 미치는 영향을 이해하기 위해.
• NTK 분석을 통해 깊이 있는 완전 연결 및 디컨볼루션 네트워크에서 정지 및 혼돈 모드를 식별하고 특성화하기 위해.
• 비선형성 조정 또는 아키텍처 수정을 통해 정지 모드를 피하여 DCGAN에서 생성자 붕괴를 해결하기 위해.
• NTK 기반 파arametrization을 통해 깊이 있는 디컨볼루션 네트워크에서 경계 아티팩트를 제거하기 위해.
• NTK 이론에 기반한 계층별 학습률 전략을 통해 학습 수렴성을 향상시키기 위해.

제안 방법

• 무한한 너비 근사에서 완전 연결 DNN의 NTK를 분석하여 NTK가 일정 값으로 수렴하는 조건(정지) 또는 크로네커 델타로 수렴하는 조건(혼돈)을 유도한다.
• 스케일된 ReLU를 비선형성으로 사용할 경우 NTK의 주된 일정 모드가 지배하여 자연스럽게 정지 모드로 이어짐을 보여준다.
• 배치 정규화가 NTK의 일정 모드 영향을 감소시켜 네트워크가 혼돈 모드로 전이되도록 효과적으로 조절함을 입증한다.
• 동일한 NTK 프레임워크를 심층 디컨볼루션 네트워크(DC-NNs)에 적용하여 이미지 공간에서 체스판 무늬 패tern이 정지 모드의 특징으로 나타남을 규명한다.
• 커널 구조를 수정하여 새로운 NTK 기반 파arametrization을 제안하여 DC-NNs에서 경계 아티팩트를 효과적으로 제거한다.
• NTK의 깊이에 따른 행동과 일치하는 방식으로 학습률을 계층별로 조정하는 전략을 도입하여 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 무한한 너비 근사에서 심층 완전 연결 네트워크의 두 가지 상이한 학습 모드인 정지와 혼돈은 무엇이며, NTK에서 어떻게 유도되는가?
• RQ2 배치 정규화가 NTK의 일정 모드를 수정함으로써 네트워크가 정지 모드에 들어가지 않도록 하는 메커니즘은 무엇인가?
• RQ3 배치 정규화 대신 비선형성을 정규화하는 것으로도 네트워크를 혼돈 모드로 전이시킬 수 있는가?
• RQ4 체스판 패턴은 심층 디컨볼루션 네트워크의 이미지 공간에서 어떤 역할을 하는가? 그리고 정지 모드와의 관련성은 무엇인가?
• RQ5 새로운 NTK 기반 파arametrization을 통해 깊이 있는 디컨볼루션 네트워크에서 경계 아티팩트를 제거할 수 있으며, 계층별 학습률 전략이 수렴성을 향상시키는가?

주요 결과

• 스케일된 ReLU를 사용할 경우 심층 완전 연결 네트워크의 NTK는 정지 모드에서 일정 값으로 수렴하여 수렴 속도가 느리고 일반화 성능이 열 劣하다.
• 배치 정규화는 NTK의 일정 모드 기여도를 감소시켜 정지 모드를 효과적으로 피하고 더 빠른 수렴을 가능하게 한다.
• 비선형성을 정규화하는 것으로도 네트워크가 혼돈 모드로 전이되며, 이 경우 NTK는 크로네커 델타로 수렴하여 일반화 성능이 향상된다.
• 정지 모드 동안 심층 디컨볼루션 네트워크의 이미지 공간에서 체스판 패턴이 나타나며, 이는 생성 모델에서 모드 붕괴를 나타낸다.
• 제안된 NTK 기반 파arametrization은 깊이 있는 디컨볼루션 네트워크에서 경계 아티팩트를 성공적으로 제거하여 샘플 품질을 향상시킨다.
• NTK 이론에 기반한 계층별 학습률 전략은 심층 디컨볼루션 네트워크에서 학습 수렴성을 크게 향상시키며, 특히 혼돈 모드에서 두드러진 효과를 보인다.