[논문 리뷰] Piecewise Strong Convexity of Neural Networks

Tristan Milne|arXiv (Cornell University)|2018. 10. 30.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 ReLU 신경망의 정규화된 손실 함수가 가중치 공간의 중요한 열린 영역에서 조각별로 강력한 볼록성을 띠며, 이 영역 내 모든 미분 가능한 임계점이 국소 최솟값이며 국소 최솟값이 고립되어 있음을 보장함을 밝혀냄. 이 결과는 데이터의 분포에 대한 가정 없이도 성립하며, 이미지 분류 작업에서의 실험적으로 검증되어 SGD 경로가 거의 항상 조각별로 강력한 볼록성 영역에 머물러 있음.

ABSTRACT

We study the loss surface of a feed-forward neural network with ReLU non-linearities, regularized with weight decay. We show that the regularized loss function is piecewise strongly convex on an important open set which contains, under some conditions, all of its global minimizers. This is used to prove that local minima of the regularized loss function in this set are isolated, and that every differentiable critical point in this set is a local minimum, partially addressing an open problem given at the Conference on Learning Theory (COLT) 2015; our result is also applied to linear neural networks to show that with weight decay regularization, there are no non-zero critical points in a norm ball obtaining training error below a given threshold. We also include an experimental section where we validate our theoretical work and show that the regularized loss function is almost always piecewise strongly convex when restricted to stochastic gradient descent trajectories for three standard image classification problems.

연구 동기 및 목표

• 가중치 감소 정규화를 적용한 ReLU 신경망의 손실 표면 기하학을 이해하기 위해.
• COLT 2015에서 제기된 비볼록 딥 러닝 최적화에서 임계점의 성질에 대한 열린 문제를 해결하기 위해.
• 국소 최솟값이 고립되고 모든 미분 가능한 임계점이 국소 최솟값이 되는 조건을 설정하기 위해.
• SGD 경로가 표준 이미지 분류 네트워크에서 조각별로 강력한 볼록성 영역에 머물러 있음을 실험적으로 보여주기 위해.
• 조각별 강력한 볼록성이 보장되는 영역을 특성화하여 신경망 설계 원칙을 제공하기 위해.

제안 방법

• ReLU 활성화 패턴에 기반해 정규화된 손실 함수의 헤시안을 분석하여 조각별 강력한 볼록성을 확립함.
• 원점과 특정 조건 하에서의 모든 전역 최솟값을 포함하는 가중치 공간의 열린 영역을 식별함.
• 서브기울기 및 두 번째 차수 분석을 활용해 이 영역 내 모든 미분 가능한 임계점이 국소 최솟값임을 증명함.
• 선형 네트워크에 가중치 감소를 적용한 프레임워크를 적용하여, 훈련 오차가 주어진 임계값 이하인 노름 볼 내에서 비영 임계점이 존재하지 않음을 증명함.
• MNIST, CIFAR10, CIFAR100에서 SGD 경로를 따라 정규화된 두 번째 도함수를 계산하여 이론을 실험적으로 검증함.
• 손실 값과 두 번째 도함수 행동에 기반해 손실 함수가 조각별로 강력한 볼록성인지 평가하는 임계값 기반 기준을 사용함.

실험 결과

연구 질문

• RQ1 ReLU 신경망의 정규화된 손실 함수가 어떤 조건에서 조각별로 강력한 볼록성이 되는가?
• RQ2 조각별로 강력한 볼록성 영역 내 모든 미분 가능한 임계점이 국소 최솟값인가?
• RQ3 동일한 조건 하에서 정규화된 손실 함수의 국소 최솟값이 고립될 수 있는가?
• RQ4 실제로 SGD 경로를 따라 손실 함수가 조각별로 강력한 볼록성 영역에 머물러 있는가?
• RQ5 훈련 오차 임계값 이하에서 선형 네트워크에 가중치 감소를 적용할 경우, 비영 임계점의 부재를 엄밀하게 증명할 수 있는가?

주요 결과

• 정규화된 손실 함수는 원점과, 조건을 만족할 경우 모든 전역 최솟값을 포함하는 열린 영역에서 조각별로 강력한 볼록성을 띠며.
• 이 열린 영역 내 모든 미분 가능한 임계점은 국소 최솟값이며, 국소 최솟값은 고립되어 있음.
• 가중치 감소가 적용된 선형 네트워크의 경우, 훈련 오차가 주어진 임계값 이하인 노름 볼 내에서는 비영 임계점이 존재하지 않음.
• 실험 결과, MNIST, CIFAR10, CIFAR100에서 95% 이상의 SGD 경로가 조각별로 강력한 볼록성 영역에 머물며, 정규화된 두 번째 도함수는 항상 10 이상으로 일관되게 유지됨.
• 대부분의 훈련 과정 동안 정규화된 두 번째 도함수가 크기(일반적으로 >10)를 유지하여 경로를 따라 강력한 볼록성 행동이 관찰됨.
• 결과는 데이터 분포에 대한 가정 없이도 성립하므로, 실제 딥 러닝 시나리오에 널리 적용 가능함.