[논문 리뷰] Spectral Bias in Practice: The Role of Function Frequency in Generalization

Sara Fridovich-Keil, Raphael Gontijo-Lopes외 1명|arXiv (Cornell University)|2021. 10. 05.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 현대 이미지 분류 모델에서 스펙트럼 편향을 측정하기 위한 실용적인 방법을 제시하며, 고정확도 네트워크가 클래스 내에서 저주파수 함수를 학습하고 클래스 간에는 고주파수 함수를 학습한다는 것을 보여준다. 주요 발견은 일반화 성능 향상과 함께 주파수 분리가 증가한다는 것이다—즉, 클래스 내 주파수는 낮아지고 클래스 간 주파수는 높아지며, 이는 CIFAR-10과 ImageNet에서 다양한 학습 환경에서 일관되게 관찰된다.

ABSTRACT

Despite their ability to represent highly expressive functions, deep learning models seem to find simple solutions that generalize surprisingly well. Spectral bias -- the tendency of neural networks to prioritize learning low frequency functions -- is one possible explanation for this phenomenon, but so far spectral bias has primarily been observed in theoretical models and simplified experiments. In this work, we propose methodologies for measuring spectral bias in modern image classification networks on CIFAR-10 and ImageNet. We find that these networks indeed exhibit spectral bias, and that interventions that improve test accuracy on CIFAR-10 tend to produce learned functions that have higher frequencies overall but lower frequencies in the vicinity of examples from each class. This trend holds across variation in training time, model architecture, number of training examples, data augmentation, and self-distillation. We also explore the connections between function frequency and image frequency and find that spectral bias is sensitive to the low frequencies prevalent in natural images. On ImageNet, we find that learned function frequency also varies with internal class diversity, with higher frequencies on more diverse classes. Our work enables measuring and ultimately influencing the spectral behavior of neural networks used for image classification, and is a step towards understanding why deep models generalize well.

연구 동기 및 목표

• 현대 딥 러닝 모델이 실질적으로 이미지 분류 작업에서 스펙트럼 편향을 보이는지 조사하는 것.
• 딥 네트워크에서 학습된 함수의 주파수 성분을 측정하고 확장 가능한 방법을 개발하는 것.
• 학습 동역학, 데이터 증강, 모델 아키텍처, 데이터 다양성 등이 학습된 함수의 스펙트럼 행동에 미치는 영향을 이해하는 것.
• 이미지 주파수 성분과 신경망에서 학습된 함수의 주파수 간 관계를 탐색하는 것.
• 특히 ImageNet과 같은 대규모 데이터셋에서 클래스 내부 다양성에 따라 함수 주파수가 어떻게 변하는지 조사하는 것.

제안 방법

• Rahaman 등 [35]의 레이블 노이즈 방법을 레이블 스무딩을 사용하여 다중 분류에 적응시켜, CIFAR-10에서 학습된 함수의 주파수 분해를 가능하게 하였다.
• 시험 이미지 간 경로를 따라 함수의 부드러움을 측정하기 위한 선형 보간 기반 방법을 도입하여, 클래스 내 경로와 클래스 간 경로를 구분하였다.
• 보간 방법을 CIFAR-10 및 ImageNet 모델에 적용하여 다양한 경로 유형에서 주파수 성분을 분석하였다.
• 레이블 노이즈 접근법을 입력 공간 내 특정 방향에 대해 확장하여, 자연 이미지 주파수에 대한 민감도를 평가함으로써 스펙트럼 편향을 탐사하였다.
• C-Scores를 사용하여 클래스 내 일관성을 정량화하고, ImageNet에서 클래스 내 함수 주파수와 연관지어 분석하였다.
• 모델 아키텍처, 학습 기간, 데이터셋 크기, 데이터 증강, 자기 정규화 학습 등 다양한 학습 조건에서 스펙트럼 행동을 평가하였다.

실험 결과

연구 질문

• RQ1 현대 이미지 분류 네트워크는 이론적 및 단순화된 설정에서 관찰된 바와 같이 실질적으로 스펙트럼 편향을 보이는가?
• RQ2 다양한 학습 환경에서 모델 정확도 향상과 함께 학습된 함수의 주파수 성분은 어떻게 변화하는가?
• RQ3 데이터 증강, 모델 아키텍처, 학습 기간이 스펙트럼 편향에 어느 정도 영향을 미치는가?
• RQ4 ImageNet에서 클래스 내부 다양성이 학습된 함수의 주파수에 어떻게 영향을 미치는가?
• RQ5 자연 이미지의 주파수와 딥 네트워크가 학습한 함수의 주파수 간 관계는 어떠한가?

주요 결과

• CIFAR-10에서 고정확도 모델은 명확한 주파수 분리를 보이며, 클래스 내에서는 저주파수, 클래스 간에는 고주파수를 나타내며, 학습 기술 향상에 따라 이 분리가 강화된다.
• 이 주파수 분리는 모델 아키텍처, 장기 학습, 대규모 데이터셋, 데이터 증강, 자기 정규화 학습 등 다양한 조건에서도 일관되게 관찰되어 안정적인 경향임을 시사한다.
• ImageNet에서는 학습 과정 동안 클래스 내와 클래스 간 경로 간 주파수 갭이 증가하며, 내부적으로 다각도가 높은 클래스에서 더 높은 주파수가 관찰된다.
• 자연 이미지의 저주파수 성분에 대해 모델이 더 민감하며, 스펙트럼 편향은 일반적으로 퍼진 이미지 주파수와 일치하는 방향에서 가장 강하다.
• C-Scores로 측정한 클래스 내부 다양성 증가와 함께 클래스 내 함수 주파수도 증가하여, 복잡한 클래스는 고주파수 함수가 필요함을 시사한다.
• 보간 방법을 통해 함수 주파수가 균일하게 분포하지 않으며, 경로 유형(클래스 내 vs. 클래스 간)에 따라 명확한 스펙트럼 행동 차이가 있음을 밝혀냈다.