[논문 리뷰] Why neural networks find simple solutions: the many regularizers of geometric complexity

Benoît Dherin, Michael Munn외 2명|arXiv (Cornell University)|2022. 09. 27.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 디지털 딜레르트 에너지를 기반으로 한 계산적으로 타당한 모델 함수 변동성 측정법인 기하학적 복잡도(Geometric Complexity, GC)를 도입하여, 가중치 노름 정규화, 스펙트럼 노름 제어, 평탄한 최소화 정규화, 노이즈 주입 등 다양한 딥러닝 학습 히우리스틱이 암묵적으로 모델 복잡도를 줄이는 방식을 통합하고 설명한다. 주요 기여는 GC가 双降선(double descent) 행동을 포착하고, 입력에 대한 모델 함수의 1차 도함수를 통해 암묵적 및 명시적 정규화를 통합하는 프레임워크를 제공한다는 점이다.

ABSTRACT

In many contexts, simpler models are preferable to more complex models and the control of this model complexity is the goal for many methods in machine learning such as regularization, hyperparameter tuning and architecture design. In deep learning, it has been difficult to understand the underlying mechanisms of complexity control, since many traditional measures are not naturally suitable for deep neural networks. Here we develop the notion of geometric complexity, which is a measure of the variability of the model function, computed using a discrete Dirichlet energy. Using a combination of theoretical arguments and empirical results, we show that many common training heuristics such as parameter norm regularization, spectral norm regularization, flatness regularization, implicit gradient regularization, noise regularization and the choice of parameter initialization all act to control geometric complexity, providing a unifying framework in which to characterize the behavior of deep learning models.

연구 동기 및 목표

• 딥러닝 모델의 일반화 행동을 반영하면서도 계산적으로 타당한 복잡도 측정법이 부족한 문제를 해결하기 위해.
• 명시적 및 암묵적 정규화 기법들을 모델의 학습 함수 기하학적 성질에 기반한 단일 이론적 프레임워크로 통합하기 위해.
• 기하학적 복잡도가 모델 크기가 증가함에 따라 테스트 오차에서 이중 내림표현(double descent) 현상을 포착함을 보여주기 위해.
• 초기화, 학습률, 배치 크기, 가중치 감소와 같은 일반적인 학습 히우리스틱이 모두 기하학적 복잡도를 제어한다는 것을 보여주기 위해.
• 기존의 매개변수 수나 노름 기반 복잡도와 같은 전통적 측정법보다 더 유용한 모델 성능의 Proxy를 제공하기 위해.

제안 방법

• 모델 출력의 입력에 대한 1차 도함수로부터 계산된 이산 딜레르트 에너지를 기반으로, 모델 함수 변동성 측정법으로 기하학적 복잡도(GC)를 제안한다.
• 조화 함수 이론과 리프시츠 스무쓰니스를 활용하여 GC가 모델 복잡도의 Proxy로써 이론적 기반을 확립한다.
• 가중치 노름 정규화, 스펙트럼 노름 제어, 레이블 노이즈, 학습률/배치 크기 선택 등 다양한 학습 히우리스틱에 대해 GC를 실증적으로 평가한다.
• 이행 정리(Transfer Theorem)를 적용하여 낮은 GC 영역이 평탄한 최소화 지점과 낮은 손실 기울기와 일치함을 보이며, 날카움 기반 측정법과의 일치를 입증한다.
• 최적화 동역학의 혼합 효과를 피하기 위해 모멘텀 없이 SGD로 모델을 훈련시어 각 히우리스틱이 GC에 미치는 영향을 고립시킨다.
• 보조 실험에서 다른 최적화기(Adam, 모멘텀이 있는 SGD)와 추가 훈련 기법(학습률 스케줄링, 데이터 증강)을 사용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델에 대해 일반화 성능을 반영하면서도 계산적으로 타당한 복잡도 측정법을 어떻게 정의할 수 있는가?
• RQ2 가중치 감소, 배치 정규화, 레이블 노이즈와 같은 일반적인 학습 히우리스틱이 기하학적 복잡도를 어느 정도 감소시키는가?
• RQ3 기하학적 복잡도가 과다 매개변수화된 모델에서 관찰되는 이중 내림표현(double descent) 일반화 곡선을 설명할 수 있는가?
• RQ4 기하학적 복잡도가 날카움 및 유효 차원성과 같은 다른 복잡도 측정법과 어떻게 관련이 있는가?
• RQ5 초기화 방법과 학습 하이퍼파rameter가 학습된 함수의 기하학적 복잡도에 어떤 방식으로 영향을 미치는가?

주요 결과

• 기하학적 복잡도(GC)는 모델 함수의 1차 도함수를 기반으로 하여 계산이 효율적이므로 대규모 딥러닝 모델에 적용 가능하다.
• 가중치 노름 정규화, 스펙트럼 노름 제어, 레이블 노이즈 등 많은 표준 학습 히우리스틱이 기하학적 복잡도를 크게 감소시킨다.
• 초기화 방법(예: He, Xavier)의 선택은 초기 기하학적 복잡도에 측정 가능한 영향을 미치며, 일부 방법은 낮은 초기 GC를 초래한다.
• 큰 학습률과 작은 배치 크기는 암묵적 기울기 정규화와 일치하며 기하학적 복잡도를 감소시킴을 입증한다.
• 기하학적 복잡도는 모델 크기가 증가함에 따라 테스트 오차에서 이중 내림표현(double descent) 행동을 포착하며, GC는 보간 임계점에서 최고조에 도달한다.
• 이행 정리(Transfer Theorem)는 낮은 GC와 평탄한 최소화 지점 간의 직접적 연관성을 확립하며, 낮은 GC 영역이 낮은 손실 기울기와 높은 평탄함을 나타냄을 보여준다.