[논문 리뷰] Neural networks trained with SGD learn distributions of increasing complexity

Maria Refinetti, Alessandro Ingrosso외 1명|arXiv (Cornell University)|2022. 11. 21.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)로 훈련된 신경망에서 분포 간단성 편향(DSB)을 제안한다. 이는 초기에 평균과 공분산과 같은 저차수 입력 통계량을 사용한 후에야 고차수 통계량을 활용한다는 점을 보여준다. CIFAR10 및 ImageNet 사전 훈련 모델을 대상으로 ResNet18, ViT, DenseNet121에서 실험적으로 검증된 DSB는 일반화 역학을 설명한다: 점점 더 복잡한 데이터 클론(Gaussian, WGAN, cifar5m)으로 훈련된 네트워크는 원래의 CIFAR10 모델의 테스트 정확도를 점점 더 오랜 훈련 시간 후에야 재현한다. 이는 통계 복잡성의 계층적 이용을 확인한다.

ABSTRACT

The ability of deep neural networks to generalise well even when they interpolate their training data has been explained using various "simplicity biases". These theories postulate that neural networks avoid overfitting by first learning simple functions, say a linear classifier, before learning more complex, non-linear functions. Meanwhile, data structure is also recognised as a key ingredient for good generalisation, yet its role in simplicity biases is not yet understood. Here, we show that neural networks trained using stochastic gradient descent initially classify their inputs using lower-order input statistics, like mean and covariance, and exploit higher-order statistics only later during training. We first demonstrate this distributional simplicity bias (DSB) in a solvable model of a neural network trained on synthetic data. We empirically demonstrate DSB in a range of deep convolutional networks and visual transformers trained on CIFAR10, and show that it even holds in networks pre-trained on ImageNet. We discuss the relation of DSB to other simplicity biases and consider its implications for the principle of Gaussian universality in learning.

연구 동기 및 목표

• SGD로 훈련된 신경망이 훈련 과정에서 고차수 통계량보다 저차수 입력 통계량(예: 평균, 공분산)을 우선적으로 활용하는지 조사하는 것.
• 데이터 구조가 단순성 편향에 미치는 역할, 특히 통계 모멘트가 일반화 역학에 미치는 영향을 이해하는 것.
• 실제 데이터로 훈련된 모델의 일반화 성능을 점점 더 복잡한 데이터 근사치(Gaussian 혼합, GAN, 확산 모델 등)로 훈련한 모델이 얼마나 오랜 훈련 시간 후에 재현할 수 있는지 테스트하는 것.
• 모델 용량이 아니라 데이터 분포 특성에 초점을 맞춘 새로운 단순성 편향 형태인 분포 간단성 편향(DSB)을 설정하는 것.

제안 방법

• 해석 가능한 설정에서 분포 간단성 편향(DSB)의 발생을 분석적으로 입증하기 위해 단일 뉴런 모델을 합성 데이터로 훈련시켰다.
• CIFAR10에서 ResNet18, ViT, DenseNet121을 사용하여 실제 CIFAR10 데이터와 비교해, Gaussian 혼합, WGAN 생성 이미지, cifar5m 확산 모델 생성 이미지를 포함한 데이터 클론을 사용해 평가했다.
• 실제 CIFAR10 데이터와 점점 더 복잡한 데이터 클론으로 훈련된 네트워크의 테스트 정확도 및 손실 경로를 비교하여 각 훈련 단계에서 네트워크가 어떤 통계적 특징에 의존하는지 추론했다.
• Gaussian(평균과 공분산만 반영), WGAN(고차수 통계량 반영), cifar5m(고해상도, 현실적인 이미지)의 계층적 데이터 근사치를 사용해 학습 과정에서의 통계적 의존성의 진화를 탐구했다.
• 표준 하이퍼파rameter(예: 가중치 감쇠 5e-4, 코즈인 학습률, 모멘터 0.9)를 사용해 SGD로 모델을 훈련하고, 원래의 CIFAR10 테스트 세트에서 일반화 성능을 평가했다.
• 계산 제약으로 인해 고차수 근사치를 완전히 구현하기 어려웠지만, Gaussian 클론을 사용해 CIFAR100에서 DSB를 검증했다.

실험 결과

연구 질문

• RQ1 SGD로 훈련된 신경망은 데이터의 고차수 통계적 특징에 접근하기 전에 평균과 공분산과 같은 저차수 입력 통계량을 먼저 활용하는가?
• RQ2 데이터 분포의 복잡성(고차수 모멘트에 대한 충실도로 측정)이 신경망의 일반화 역학에 미치는 영향은 어떠한가?
• RQ3 실제 데이터로 훈련된 네트워크의 일반화 성능을 점점 더 복잡한 데이터 클론으로 훈련한 네트워크가 재현할 수 있는가? 만약 가능하면 어느 훈련 단계에서 이루어지는가?
• RQ4 분포 간단성 편향(DSB)은 컨volutional 네트워크와 비전 트랜스포머를 포함한 다양한 아키텍처에서 견고한가? 그리고 ImageNet 사전 훈련 모델에서도 지속되는가?
• RQ5 특히 낮은 내재 차원성과 고차수 통계적 의존성 등을 포함한 데이터 구조는 SGD 훈련에서 단순성 편향과 어떻게 상호작용하는가?

주요 결과

• Gaussian 혼합(각 CIFAR10 클래스의 평균과 공분산만 반영)으로 훈련된 ResNet18은 처음 약 50개의 SGD 스텝 동안 기준 모델(실제 CIFAR10로 훈련)과 동일한 테스트 정확도를 달 đạt했다.
• cifar5m 데이터 클론(고해상도, 확산 기반)으로 훈련된 ResNet18은 약 2000개의 훈련 스텝 이후에야 실제 CIFAR10 모델의 일반화 성능을 재현했으며, 이는 복잡한 통계량의 지연된 활용을 시사한다.
• Gaussian 혼합보다 더 복잡한 구조를 반영하는 WGAN 기반 클론은 중간 수준의 일반화 역학을 보였으며, 약 1000개의 스텝 이후에 실제 CIFAR10 모델과 성능이 일치했다.
• CIFAR100에서는 두 층으로 구성된 네트워크와 LeNet이 Gaussian 클론에서 실데이터와 유사한 초기 정확도를 보였지만, 더 깊은 모델은 조기에 분리되어, DSB가 고차원, 고클래스 설정에서는 덜 안정적임을 시사한다.
• 분포 간단성 편향(DSB)은 표준 모델과 ImageNet 사전 훈련 모델 양쪽 모두에서 관찰되었으며, 이는 다양한 아키텍처와 데이터 영역에서 SGD 훈련의 일반적 특성임을 시사한다.
• 결과는 통계 복잡성의 계층적 구조를 지지한다: 네트워크는 먼저 저차수 통계량을 사용해 분류를 학습하고, 훈련이 진행됨에 따라 점차 고차수 의존성을 통합한다.