[논문 리뷰] Taxonomizing local versus global structure in neural network loss landscapes

Yaoqing Yang, Liam Hodgkinson외 5명|arXiv (Cornell University)|2021. 07. 23.

Stochastic Gradient Optimization Techniques참고 문헌 94인용 수 8

한 줄 요약

이 논문은 수천 개의 모델을 통해 국소적이고 전역적인 구조적 성질을 분석함으로써 신경망 손실 곡면의 분류 체계를 제안한다. 높은 테스트 정확도는 전역적으로 잘 연결된 곡면, 모델 앙상블 유사성, 국소적 부드러움과 강하게 상관되며, 낮은 데이터 품질이나 작은 모델은 훈련 손실이 0임에도 불구하고 일반화를 해칠 수 있는 열악하게 연결된 곡면을 유도함을 보여준다.

ABSTRACT

Viewing neural network models in terms of their loss landscapes has a long history in the statistical mechanics approach to learning, and in recent years it has received attention within machine learning proper. Among other things, local metrics (such as the smoothness of the loss landscape) have been shown to correlate with global properties of the model (such as good generalization performance). Here, we perform a detailed empirical analysis of the loss landscape structure of thousands of neural network models, systematically varying learning tasks, model architectures, and/or quantity/quality of data. By considering a range of metrics that attempt to capture different aspects of the loss landscape, we demonstrate that the best test accuracy is obtained when: the loss landscape is globally well-connected; ensembles of trained models are more similar to each other; and models converge to locally smooth regions. We also show that globally poorly-connected landscapes can arise when models are small or when they are trained to lower quality data; and that, if the loss landscape is globally poorly-connected, then training to zero loss can actually lead to worse test accuracy. Our detailed empirical results shed light on phases of learning (and consequent double descent behavior), fundamental versus incidental determinants of good generalization, the role of load-like and temperature-like parameters in the learning process, different influences on the loss landscape from model and data, and the relationships between local and global metrics, all topics of recent interest.

연구 동기 및 목표

• 신경망 손실 곡면의 국소적 구조와 전역적 구조 간의 상호작용을 이해하기 위해.
• 실제 모델에서 좋은 일반화 성능과 상관되는 손실 곡면 성질을 특정하기 위해.
• 국소적 날카기성 지표를 넘어서 전역적 연결성과 유사성 측정치를 통합함으로써 접근하기 위해.
• 모델 크기, 데이터 품질, 훈련 초모수가 곡면 구조에 미치는 영향을 조사하기 위해.
• 일반적인 지표(CKA, 모드 연결성, 헤시안)를 활용해 전역 손실 곡면 성질을 탐색할 수 있는 운영 가능한 머신러닝 프레임워크를 제공하기 위해.

제안 방법

• 다양한 작업, 아키텍처, 데이터 제약 조건에서 수천 개의 훈련된 신경망 모델을 경험적으로 분석하기 위해.
• 국소 곡률과 부드러움을 정량화하기 위해 헤시안 기반 지표(최대 고유값, 흐름)를 사용하기 위해.
• 훈련된 모델들 간의 전역 곡면 연결성을 평가하기 위해 모드 연결성을 적용하기 위해.
• 모델 출력 간의 CKA(센터드 커널 일치도) 유사성을 계산하여 앙상블 유사성을 측정하기 위해.
• 모델 너비, 데이터 양, 데이터 품질(라벨 노이즈), 훈련 온도를 체계적으로 변화시키기 위해.
• 이러한 지표들을 테스트 정확도와 연관지어 일반화와 관련된 구조적 패턴을 식별하기 위해.

실험 결과

연구 질문

• RQ1 헤시안 고유값과 같은 국소적 지표는 모드 연결성과 유사성과 같은 전역 곡면 성질과 어떻게 관련이 있는가?
• RQ2 데이터 품질과 모델 크기는 전역 연결성에 어떤 역할을 하는가?
• RQ3 전역적으로 연결되지 않은 곡면은 국소 최소값이 납작하더라도 일반화를 떨어뜨릴 수 있는가?
• RQ4 로드 유사(모델 크기) 및 온도 유사(훈련 초모수) 매개변수들은 곡면 구조에 어떻게 영향을 미치는가?
• RQ5 연결성과 유사성 지표가 국소적 날카기성보다 일반화 성능 예측에 얼마나 더 잘 기여하는가?

주요 결과

• 전역적으로 잘 연결된 손실 곡면은 높은 테스트 정확도와 강하게 상관되며, 연결성이 열악한 곡면은 훈련 손실이 0임에도 불구하고 일반화를 악화시킨다.
• 모델 너비를 늘일수록 모드 연결성과 CKA 유사성이 모두 향상되어 전역적 구조 개선과 모델 간 일치도 향상을 나타낸다.
• 더 많은 데이터와 높은 품질의 데이터는 CKA 유사성과 모드 연결성을 향상시켜 데이터 품질이 직접적으로 전역 곡면 성질을 형성함을 시사한다.
• Phase IV(전역적으로 잘 연결되고 국소적으로 납작한 최소값)에서는 더 높은 훈련 온도가 모델 유사성을 향상시켜 확률적 성질이 일반화를 촉진하는 역할을 함을 나타낸다.
• 낮은 모드 연결성, 낮은 헤시안 고유값, 낮은 CKA 유사성의 조합은 데이터에서 신호가 부족함을 시사하며, 이는 낮은 데이터 품질을 의미한다.
• 데이터 품질과 모델 크기의 영향을 고려할 경우 국소적 날카기성 지표(예: 헤시안 흐름)만으로는 일반화를 충분히 예측할 수 없으며, 납작한 최소값이라도 일반화가 열악할 수 있다.