[논문 리뷰] Are All Layers Created Equal?

Chiyuan Zhang, Samy Bengio외 1명|arXiv (Cornell University)|2019. 02. 06.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 110

한 줄 요약

이 논문은 실험적으로 심층 신경망의 계층이 이질적임을 보여준다: 일부 계층은 학습 후 재초기화/재난수화에 대해 강건한 반면, 다른 계층은 중요하며, 강건성은 아키텍처와 과제에 따라 달라진다.

ABSTRACT

Understanding deep neural networks is a major research objective with notable experimental and theoretical attention in recent years. The practical success of excessively large networks underscores the need for better theoretical analyses and justifications. In this paper we focus on layer-wise functional structure and behavior in overparameterized deep models. To do so, we study empirically the layers' robustness to post-training re-initialization and re-randomization of the parameters. We provide experimental results which give evidence for the heterogeneity of layers. Morally, layers of large deep neural networks can be categorized as either "robust" or "critical". Resetting the robust layers to their initial values does not result in adverse decline in performance. In many cases, robust layers hardly change throughout training. In contrast, re-initializing critical layers vastly degrades the performance of the network with test error essentially dropping to random guesses. Our study provides further evidence that mere parameter counting or norm calculations are too coarse in studying generalization of deep models, and "flatness" and robustness analysis of trained models need to be examined while taking into account the respective network architectures.

연구 동기 및 목표

• 학습된 심층 네트워크에서 개별 계층이 서로 다른 역할을 수행하는지 조사한다.
• 아키텍처와 과제 전반에 걸쳐 계층의 재초기화 및 재난수화에 대한 강건성을 평가한다.
• 계층의 강건성이 네트워크 용량, 과제 난이도, 일반화와 어떤 관계가 있는지 이해한다.

제안 방법

• 다양한 아키텍처(FCN, VGG, ResNet, 트랜스포머, ViT, MLP-Mixer)를 MNIST, CIFAR-10, ImageNet, LM1B에서 학습한다.
• 학습 후 개별 계층의 재초기화 또는 재난수화를 수행하고 테스트-퍼플렉시티 성능을 측정한다.
• 체크포인팅을 사용하여 계층을 초기 값으로 재초기화하거나 초기화 분포에서 재샘플링하되 재학습 없이 수행한다.
• 2-노름과 무한대 노름을 사용하여 초기화까지의 계층별 가중치 거리를 분석한다.
• 계층군을 재초기화/재난수화하여 공동 강건성을 검토하고 효과를 평가한다.

실험 결과

연구 질문

• RQ1 심층 네트워크 내의 계층들이 성능에 대해 강건하거나 결정적일 만큼 이질적인 역할을 갖는가?
• RQ2 계층의 강건성은 아키텍처(FCN, VGG, ResNet, 트랜스포머)와 데이터셋(MNIST, CIFAR-10, ImageNet, LM1B) 간에 어떻게 달라지는가?
• RQ3 계층의 강건성 특성이 일반화와 오버파라미터화의 영향을 설명할 수 있는가?
• RQ4 계층의 공동 교란이 네트워크 성능에 미치는 영향은 무엇이며, 계층의 고정(freezing)이나 제거와 같은 제약이 손실을 완화할 수 있는가?
• RQ5 강건성 패턴이 비전 모델에서 관찰된 것이 컨볼루션 없는 아키텍처(ViT, MLP-Mixer) 및 언어 모델에도 일반화되는가?

주요 결과

• 어떤 계층을 재난수화하더라도 일반적으로 성능이 무작위 추정으로 붕괴되어 해당 계층의 비강건성을 나타낸다.
• 하단 계층의 재초기화가 가장 해로운 경향이 있으며, 상위 계층은 재초기화에 대해 상대적으로 강건한 편이다.
• 계층 강건성은 네트워크 용량과 과제 난이도와 상관관계가 있다: 더 넓은 네트워크일수록 상위 계층이 더 강건한 경향이고, 더 어려운 과제일수록 더 많은 계층이 민감하게 유지된다.
• ResNet은 깊이에 걸쳐 중요한 계층을 분포시키는 반면, FCN/VGG는 하단 계층이 더 중요한 경향이 있다.
• 계층 그룹은 공동으로 강건하거나 취약할 수 있으며, 아키텍처 제약(계층 고정/제거)이 관찰된 강건성에 영향을 준다.
• 강건성 패턴은 언어 모델과 컨볼루션 없는 아키텍처(ViT, MLP-Mixer)에도 일반화되며, 상위 계층이 더 강건한 경향이지만 구성 요소(예: 트랜스포머의 LayerNorm)별로 구체적인 차이가 있다.