[논문 리뷰] Analyzing Monotonic Linear Interpolation in Neural Network Loss Landscapes

James Lucas, Juhan Bae외 4명|arXiv (Cornell University)|2021. 04. 22.

Stochastic Gradient Optimization Techniques참고 문헌 53인용 수 7

한 줄 요약

이 논문은 비볼록성에도 불구하고 초기 및 훈련된 신경망 가중치 간 선형 보간이 훈련 손실을 일관되게 감소시키는 '단조성 선형 보간(Monotonic Linear Interpolation, MLI)' 현상에 대해 조사한다. 미분기하학을 사용하여 평균 제곱 오차 기준에서 MLI가 성립하는 충분조건을 유도하고, 초기화로부터의 큰 가중치 갱신을 유도함으로써 MLI가 체계적으로 위반될 수 있음을 보여, 손실 곡면 기하학에 대한 기존의 가정을 도전한다.

ABSTRACT

Linear interpolation between initial neural network parameters and converged parameters after training with stochastic gradient descent (SGD) typically leads to a monotonic decrease in the training objective. This Monotonic Linear Interpolation (MLI) property, first observed by Goodfellow et al. (2014) persists in spite of the non-convex objectives and highly non-linear training dynamics of neural networks. Extending this work, we evaluate several hypotheses for this property that, to our knowledge, have not yet been explored. Using tools from differential geometry, we draw connections between the interpolated paths in function space and the monotonicity of the network - providing sufficient conditions for the MLI property under mean squared error. While the MLI property holds under various settings (e.g. network architectures and learning problems), we show in practice that networks violating the MLI property can be produced systematically, by encouraging the weights to move far from initialization. The MLI property raises important questions about the loss landscape geometry of neural networks and highlights the need to further study their global properties.

연구 동기 및 목표

• 초기화와 훈련된 가중치 간 선형 매개변수 경로를 따라 훈련 손실이 놀랍게 단조 감소하는 이유를 조사하는 것.
• 비볼록 목표함수에도 불구하고 신경망 가중치 공간에서의 선형 보간이 자주 단조 감소하는 손실 감소를 이끄는 뒤에 숨겨진 가정을 탐색하는 것.
• 특히 평균 제곱 오차 손실에 대해 단조성 선형 보간(Monotonic Linear Interpolation, MLI) 성질이 성립하는 데 필요한 기하 조건을 도출하는 것.
• MLI가 보편적인 성질인지, 또는 훈련 동역학을 수정함으로써 체계적으로 깨뜨릴 수 있는지 테스트하는 것.
• 경로의 단조성이라는 관점에서 심층학습의 전반적 손실 곡면 기하학에 대한 이해를 심화하는 것.

제안 방법

• 저자들은 손실 곡면의 곡률과 가중치 공간 내 선형 보간 경로를 따라 방향 도함수를 분석하기 위해 미분기하학을 사용한다.
• 보간 매개변수에 대한 손실 함수의 이阶 도함수 행동을 분석함으로써 경로를 따라 손실 감소가 단조로운 데 필요한 충분조건을 유도한다.
• 분석은 분석적 접근이 가능하고 MLI에 대한 명시적 조건을 도출할 수 있도록 평균 제곱 오차 손실에 집중한다.
• MLI가 이러한 조건에서 깨질 수 있는지 테스트하기 위해 초기화로부터의 큰 가중치 이동을 유도하는 제어된 훈련 설정을 구축한다.
• 이론적 분석과 다양한 네트워크 아키텍처 및 학습 과제에서의 실험적 검증을 결합한다.
• 이론적 결과는 보간 경로를 따라 손실 함수의 헤시안과 기울기의 구조에 기반한다.

실험 결과

연구 질문

• RQ1 초기 및 훈련된 가중치 간 선형 보간이 신경망에서 손실을 단조 감소시키는 기하 조건은 무엇인가?
• RQ2 비볼록성에도 불구하고 다양한 아키텍처와 학습 문제에서 단조성 선형 보간(Monotonic Linear Interpolation, MLI) 성질이 지속되는 이유는 무엇인가?
• RQ3 초기화로부터의 큰 가중치 갱신을 유도함으로써 훈련 동역학을 수정함으로써 MLI 성질을 체계적으로 위반할 수 있는가?
• RQ4 손실 곡면의 곡률과 기울기 구조는 보간 경로의 단조성에 어떤 영향을 미치는가?
• RQ5 MLI는 손실 함수의 선택, 특히 평균 제곱 오차에 의해 어느 정도 영향을 받는가?

주요 결과

• MLI 성질은 보간 경로를 따라 헤시안과 기울기의 정렬과 관련된 특정 기하 조건을 만족할 경우 성립한다. 특히 손실이 평균 제곱 오차일 경우에 해당한다.
• 이론적 분석은 MLI가 사전에 보장되지 않으며, 손실 함수의 곡률과 방향 도함수에 따라 달라진다는 것을 보여준다.
• 실험적으로는 큰 학습률이나 초기화로부터의 큰 가중치 이동을 유도하는 가중치 감쇠를 사용해 MLI를 위반하는 네트워크를 체계적으로 생성할 수 있다.
• MLI 성질은 보편적이지 않으며, 가중치 궤적의 초기화로부터의 분리가 심해질 경우 깨지므로, 단조성이 모든 훈련 동역학에 내재된 것은 아님을 시사한다.
• 이 연구는 보간 경로의 단조성이 가중치 갱신의 크기에 민감함을 드러내며, 손실 곡면의 전반적 기하학에 대한 기존의 가정을 도전한다.
• 결과적으로 손실 곡면 기하학은 이전에 상상한 것보다 더 세밀하며, MLI는 일반적인 법칙이 아니라 특수한 경우임을 강조한다.