[논문 리뷰] Loss landscapes and optimization in over-parameterized non-linear systems and neural networks

Chaoyue Liu, Libin Zhu외 1명|arXiv (Cornell University)|2020. 02. 29.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 11

한 줄 요약

이 논문은 오버파rameterized 비선형 시스템과 신경망에서 경사하강법의 성공을 설명하기 위한 일반적인 프레임워크로 PL∗ 조건을 제안한다. 넓은 신경망이 초기화 근처에서 PL∗ 조건을 만족함으로써 전역 최소값으로의 수렴을 보장하며, 거의 오버파라미터라이즈드 시스템을 위한 완화된 버전(PL∗_ε)을 제안하여, 볼록성 이론을 넘어서는 비볼록 최적화 이론을 구축한다. 이 이론은 탄성 커널 조건 수와 유사한 방식으로 고전적인 선형 오버파라미터라이즈드 분석과 대응된다.

ABSTRACT

The success of deep learning is due, to a large extent, to the remarkable effectiveness of gradient-based optimization methods applied to large neural networks. The purpose of this work is to propose a modern view and a general mathematical framework for loss landscapes and efficient optimization in over-parameterized machine learning models and systems of non-linear equations, a setting that includes over-parameterized deep neural networks. Our starting observation is that optimization problems corresponding to such systems are generally not convex, even locally. We argue that instead they satisfy PL$^*$, a variant of the Polyak-Lojasiewicz condition on most (but not all) of the parameter space, which guarantees both the existence of solutions and efficient optimization by (stochastic) gradient descent (SGD/GD). The PL$^*$ condition of these systems is closely related to the condition number of the tangent kernel associated to a non-linear system showing how a PL$^*$-based non-linear theory parallels classical analyses of over-parameterized linear equations. We show that wide neural networks satisfy the PL$^*$ condition, which explains the (S)GD convergence to a global minimum. Finally we propose a relaxation of the PL$^*$ condition applicable to "almost" over-parameterized systems.

연구 동기 및 목표

• 오버파라미터라이즈드 비선형 시스템과 신경망에서 최적화를 이해하기 위한 현대적 수학적 프레임워크를 개발하는 것.
• 파라미터 수가 부족한 시스템과 오버파라미터라이즈드 시스템의 손실 표면 간의 핵심적 차이를 규명하는 것, 특히 후자의 국소적 볼록성 부재를 중심으로 한다.
• PL∗ 조건—폴리악-로자예프치츠 조건의 변종—이 오버파라미터라이즈드 시스템의 대부분의 매개변수 공간에서 성립함을 입증하여, GD/SGD의 전역 수렴을 보장하는 것.
• PL∗ 조건을 탄성 커널의 조건 수와 연결하여, 고전적인 선형 오버파라미터라이즈드 시스템 분석과 유사성을 부각하는 것.
• 최적화 경로 동안 실제로 오버파라미터라이즈드로 행동하는 시스템에 대해, 엄격하게 오버파라미터라이즈드가 아니더라도 적용 가능한 완화된 형태(PL∗_ε)를 제안하는 것.

제안 방법

• 비볼록 오버파라미터라이즈드 시스템에서 경사하강법의 전역 수렴을 위한 충분조건으로 PL∗ 조건을 제안하는 것.
• 넓은 신경망이 초기화 근처에서 PL∗ 조건을 만족함을 보여주어 전역 최소값으로의 수렴을 보장하는 것.
• 비선형 시스템의 탄성 커널을 정의하고, 그 조건 수와 PL∗ 조건을 연결하여 선형 오버파라미터라이즈드 분석을 일반화하는 것.
• 엄격하게 오버파라미터라이즈드가 아니지만 최적화 경로 동안 유사하게 행동하는 시스템을 다룰 수 있도록 PL∗_ε를 도입하는 것.
• 이 프레임워크를 이용해 지도학습 및 비선형 방정식 시스템(다중 클래스 및 다중 출력 설정 포함)을 분석하는 것.
• 리만 다양체로의 응용을 위해 PL∗와 조건 수의 정의를 다양체로 확장하고, 잘 정의된 좌표 변환에 대해 불변성을 유지하는 것.

실험 결과

연구 질문

• RQ1 왜 경사 기반 방법들, 예를 들어 SGD는 매우 비볼록적인 오버파라미터라이즈드 신경망에서 효과적으로 수렴하는가?
• RQ2 오버파라미터라이즈드 비선형 시스템에서 국소적 볼록성이 없음에도 불구하고 효율적인 최적화를 가능하게 하는 손실 표면의 수학적 성질은 무엇인가?
• RQ3 오버파라미터라이즈드 시스템에서 PL∗ 조건은 탄성 커널의 조건 수와 어떻게 관련되어 있는가?
• RQ4 PL∗ 조건은 엄격하게 오버파라미터라이즈드가 아니지만 최적화 도중 오버파라미터라이즈드로 행동하는 시스템에 대해 어떻게 완화될 수 있는가?
• RQ5 대규모 모델의 최적화 경로가 공식적으로 오버파라미터라이즈드가 아니더라도 PL∗ 조건이 성립하는 영역 내에 머무르는 정도는 어느 정도인가?

주요 결과

• 오버파라미터라이즈드 신경망은 초기화 근처에서 PL∗ 조건을 만족하며, 이는 경사하강법이 전역 최소값으로 수렴함을 보장한다.
• PL∗ 조건은 탄성 커널의 조건 수와 밀접하게 연결되어 있으며, 고전적인 선형 오버파라미터라이즈드 시스템 이론의 비선형 일반화를 제공한다.
• 오버파라미터라이즈드 시스템의 손실 표면은 본질적으로 비볼록적이며, 전역 최소점 근처에서도 국소적 볼록성이 없음을 보여주며, 이는 파라미터 수가 부족한 시스템과의 핵심적 차이를 이룬다.
• PL∗_ε 완화는 엄격하게 오버파라미터라이즈드가 아니지만 최적화 경로 동안 기능적으로 오버파라미터라이즈드로 행동하는 시스템에 이론을 적용할 수 있도록 한다.
• 이 프레임워크는 다양체로 자연스럽게 확장되며, 잘 정의된 좌표 변환에 대해 조건 수의 불변성을 유지한다.
• 이론적 및 실증적 증거는 많은 대규모 모델이 훈련 전반에 걸쳐 PL∗_ε 영역 내에 머물러 있음을 시사하며, 이는 실생활에서 SGD의 효과성을 설명한다.