[논문 리뷰] Weighted Optimization: better generalization by smoother interpolation.

Yuege Xie, Rachel Ward외 2명|arXiv (Cornell University)|2020. 06. 15.

Advanced Neural Network Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 과다 매개변수화된 모델에서 부드러운 보간에 대한 암묵적 편향과 일반화 향상 사이의 이론적 연결을 수립한다. 무작위 푸리에 급수 모델과 가중 최소제곱법을 사용하여, 정규화 기법(예: 가중치 정규화)이 더 부드러운 해를 선호함으로써 일반화를 향상시킨다는 것을 보여주며, 과다 매개변수화된 설정에서 이 메커니즘에 대한 첫 번째 엄밀한 사례 연구를 제공한다.

ABSTRACT

We provide a rigorous analysis of how implicit bias towards smooth interpolations leads to low generalization error in the overparameterized setting. We provide the first case study of this connection through a random Fourier series model and weighted least squares. We then argue through this model and numerical experiments that normalization methods in deep learning such as weight normalization improve generalization in overparameterized neural networks by implicitly encouraging smooth interpolants.

연구 동기 및 목표

• 과다 매개변수화된 모델에서 부드러운 보간과 낮은 일반화 오차 사이의 관계를 조사하기 위해.
• 가중 최소제곱법과 무작위 푸리에 급수 모델에서 부드러움에 대한 암묵적 편향을 분석하기 위해.
• 가중치 정규화와 같은 정규화 방법이 더 부드러운 해를 장려함으로써 일반화를 향상시키는 방식을 설명하기 위해.
• 표준 편향-분산 트레이드오프를 초월하여 부드러움의 역할에 대한 이론적이고 경험적인 기반을 제공하기 위해.

제안 방법

• 저자들은 제어된 부드러움을 갖는 과다 매개변수화된 함수를 표현하기 위해 무작위 푸리에 급수 모델을 사용한다.
• 고주파 성분에 낮은 가중치를 부여함으로써 보간에서 부드러움을 강제하기 위해 가중 최소제곱법을 적용한다.
• 명시적인 페널티 항 없이도 가중치를 통해 정규화 유사 효과를 도입한다.
• 이론적 분석은 특정 조건 하에서 해가 부드러운 보간자로 수렴함을 보여준다.
• 수치 실험은 과다 매개변수화된 설정에서 더 부드러운 보간자가 더 나은 일반화 성능을 보임을 검증한다.
• 이 프레임워크는 딥러닝에서 가중치 정규화를 암묵적으로 더 부드러운 보간자를 촉진하는 것으로 해석하기 위해 확장된다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 모델에서 암묵적 편향이 부드러운 보간에 의해 일반화 오차가 어떻게 감소하는가?
• RQ2 표준 최소제곱법에 비해 가중 최소제곱법은 얼마나 더 부드러운 해를 촉진하는가?
• RQ3 가중치 정규화와 같은 정규화 방법은 암묵적으로 더 부드러운 보간을 장려하는 메커니즘으로 이해될 수 있는가?
• RQ4 과다 매개변수화된 모델의 일반화 성능에서 주파수 구성의 역할은 무엇인가?
• RQ5 무작위 푸리에 급수 모델은 부드러운 보간에서 일반화를 연구하는 데 어떻게 시험 기반으로 기능하는가?

주요 결과

• 가중 최소제곱법은 표준 최소제곱법에 비해 더 부드러운 보간자를 도출하여 일반화 오차를 낮춘다.
• 무작위 푸리에 급수 모델은 과다 매개변수화된 설정에서 더 부드러운 해가 더 잘 일반화됨을 보여준다.
• 가중치 정규화와 같은 정규화 방법은 암묵적으로 더 부드러운 보간자를 장려함으로써 딥러닝에서의 경험적 성공을 설명한다.
• 이론적 분석은 과다 매개변수화된 영역에서 부드러움에 대한 암묵적 편향이 일반화 오차를 감소시킴을 확인한다.
• 수치 실험은 다양한 주파수 구성에서 더 부드러운 보간자가 더 나은 일반화 성능를 보임을 검증한다.
• 본 연구는 과다 매개변수화된 모델에서 부드러운 보간, 암묵적 편향, 일반화 사이의 관계를 엄밀하게 연결하는 첫 번째 사례 연구를 제공한다.