[논문 리뷰] Stiffness: A New Perspective on Generalization in Neural Networks

Stanislav Fort, Paweł Krzysztof Nowak외 2명|arXiv (Cornell University)|2019. 01. 28.

Neural Networks and Applications참고 문헌 28인용 수 60

한 줄 요약

이 논문은 그래디언트 업데이트가 다른 예들의 손실에 미치는 영향을 나타내는 척도로서 스티프니스를 도입하고, 그래디언트 정렬성을 일반화와 연결하며 데이터세트, 아키텍처, 학습률 전반에 걸쳐 분석한다.

ABSTRACT

In this paper we develop a new perspective on generalization of neural networks by proposing and investigating the concept of a neural network stiffness. We measure how stiff a network is by looking at how a small gradient step in the network's parameters on one example affects the loss on another example. Higher stiffness suggests that a network is learning features that generalize. In particular, we study how stiffness depends on 1) class membership, 2) distance between data points in the input space, 3) training iteration, and 4) learning rate. We present experiments on MNIST, FASHION MNIST, and CIFAR-10/100 using fully-connected and convolutional neural networks, as well as on a transformer-based NLP model. We demonstrate the connection between stiffness and generalization, and observe its dependence on learning rate. When training on CIFAR-100, the stiffness matrix exhibits a coarse-grained behavior indicative of the model's awareness of super-class membership. In addition, we measure how stiffness between two data points depends on their mutual input-space distance, and establish the concept of a dynamical critical length -- a distance below which a parameter update based on a data point influences its neighbors.

연구 동기 및 목표

• 신경망에서 일반화의 도구로서 스티프니스 개념을 동기 부여하고 형식화한다.
• 스티프니스가 클래스 소속, 입력 공간에서의 데이터 포인트 간 거리, 학습 에폭, 학습률에 따라 어떻게 달라지는지 조사한다.
• 비전 데이터(MNIST, FASHION-MNIST, CIFAR-10/100)와 변환기 기반 NLP 모델에서의 스티프니스 동작을 시연한다.
• 스티프니스로 드러난 동역학적 임계 길이와 의미 구조(초-클래스)를 검토한다.

제안 방법

• 두 가지 그래디언트 기반 측정으로 스티프니스를 정의한다: 부호 스티프니스(sign stiffness, g1·g2의 부호) 및 코사인 스티프니스(cosine stiffness, g1과 g2의 코사인 유사도).
• 그래디언트 g1을 가진 입력 X1의 작은 업데이트가 다른 입력 X2의 손실을 어떻게 바꾸는지 계산한다.
• 클래스 스티프니스 행렬 C(ca, cb)를 구성하고 클래스 간(stiffness between-class)과 클래스 내(within-class) 스티프니스 분석한다.
• 일반화와의 관련성을 위해 train-train, train-val, val-val 설정에서의 스티프니스 평가한다.
• 입력 공간 거리의 함수로 스티프니스를 측정한다, 동역학적 임계 길이 xi를 사용하여.
• 학습률과 에포크에 따라 스티프니스 평가를 수행하여 더 높은 학습률이 더 낮고 더 국소적인 스티프니스로 편향되는지 관찰한다.

실험 결과

연구 질문

• RQ1 신경망 스티프니스가 어떻게 정의되며 일반화에 대해 무엇을 밝혀주는가?
• RQ2 데이터세트 전반에서 클래스 소속 및 의미적 그룹(초-클래스 포함)에 따라 스티프니스는 어떻게 달라지는가?
• RQ3 입력 포인트 간의 입력 공간 거리와 함께 스티프니스는 어떻게 달라지는가?
• RQ4 학습 에폭과 학습률이 스티프니스와 동역학적 임계 길이 xi에 어떤 영향을 미치는가?
• RQ5 스티프니스 동향이 컴퓨터 비전뿐만 아니라 NLP(BERT 등)에서도 일반화되는가?

주요 결과

• 스티프니스는 일반화와 상관관계가 있다: 학습 중 클래스 내외에서 더 높은 스티프니스가 관찰되지만 과적합이 시작될 때 감소한다.
• 클래스 내 스티프니스는 초기와 학습 중에 높게 유지되며, 클래스 간 스티프니스는 모델이 학습함에 따라 증가하다가 과적합이 시작되면 두 경우 모두 감소한다.
• 스티프니스는 의미적으로 의미 있는 그룹 구조를 드러낸다: CIFAR-100에서 초-클래스 내에서 더 높은 스티프니스와 심지어 초-초-클래스에서도 무작위 기준보다 더 높다.
• 동역학적 임계 길이 xi가 존재한다: 입력 공간 거리 증가에 따라 스티프니스가 0으로 감소하고, xi는 학습 및 더 높은 학습률에 따라 감소한다.
• 더 높은 학습률은 더 작은 xi의 함수로 이어져 더 국소적이고 더 쉽게 구부러지는 업데이트를 유도하며, 학습된 함수에 대한 정규화 효과를 나타낸다.
• 스티프니스 개념은 NLP(BERT MNLI 미세조정)에도 확장되며, 시각 모델과 유사한 클래스 내외 동역학을 보인다.