[논문 리뷰] On Connected Sublevel Sets in Deep Learning

Quynh C. Nguyen|arXiv (Cornell University)|2019. 01. 22.

Neural Networks and Applications참고 문헌 45인용 수 7

한 줄 요약

이 논문은 깊이 있는 오버파rameter화된 완전히 연결된 신경망에서 조각별 선형 활성화 함수와 볼록 손실을 갖는 경우, 최소한 하나의 은닉층이 훈련 샘플 수보다 많은 뉴런을 가질 때, 훈련 손실의 모든 하위레벨 세트는 연결되어 있고 유계가 아님을 보여준다. 이 기하적 성질은 나쁜 국소 골짜기의 부재를 암시하며, 이는 경사하강법이 낮은 영역에 갇히지 않고 손실 곡면을 탐색할 수 있음을 보장하고, 모든 전역 최소값이 단일한 큰 골짜기 안에 연결되어 있음을 의미한다.

ABSTRACT

This paper shows that every sublevel set of the loss function of a class of deep over-parameterized neural nets with piecewise linear activation functions is connected and unbounded. This implies that the loss has no bad local valleys and all of its global minima are connected within a unique and potentially very large global valley.

연구 동기 및 목표

• 비볼록성에도 불구하고 확률적 경사하강법이 왜 깊이 신경망 최적화에서 성공하는지 이해하기 위해.
• 오버파라미터화 조건 하에서 손실 곡면의 기하학적 구조를 조사하기 위해.
• 하위레벨 세트의 연결성으로 인해 깊이 학습에서 국소 탐색 알고리즘이 성공할 수 있는지 여부를 규명하기 위해.
• 손실 함수가 나쁜 국소 골짜기를 피하고 전역 수렴을 보장하는 조건을 설정하기 위해.

제안 방법

• 훈련 데이터가 선형 독립일 때, 임의의 크기의 네트워크에 대해 하위레벨 세트의 연결성을 증명하기 위해.
• 일반적인 훈련 데이터에 대해 결과를 확장하기 위해, 하나의 은닉층이 훈련 샘플 수보다 많은 뉴런을 가진다고 가정하기 위해.
• 가중치 행렬의 전위수 성질과 조각별 선형 활성화의 구조를 이용하여 매개변수 공간 내의 경로연결성 확립하기 위해.
• 볼록 손실(예: 제곱 손실, 교차 엔트로피)과 조각별 선형 활성화 함수 하에서 손실 함수의 하위레벨 세트 정의 및 분석하기 위해.
• 넓은 은닉층이 존재할 경우, 임의의 시작점에서 손실 값이 무한히 낮아지는 연속적인 내림막 경로가 존재함을 활용하기 위해.
• 손실이 최소값에 접근할 수 없는 엄격한 하위레벨 세트의 연결 성분으로 '나쁜 국소 골짜기'의 개념을 정의하고 형식화하기 위해.

실험 결과

연구 질문

• RQ1 네트워크의 너비와 활성화 함수에 어떤 조건이 성립할 때 손실 함수의 하위레벨 세트가 연결되어 있는가?
• RQ2 조각별 선형 활성화를 갖는 오버파라미터화된 깊이 신경망에서 나쁜 국소 골짜기가 보장될 수 있는가?
• RQ3 넓은 은닉층의 존재가 매개변수 공간 내 하위레벨 세트의 연결성에 어떤 영향을 미치는가?
• RQ4 손실 곡면의 어떤 기하학적 성질이 오버파라미터화된 설정에서 경사하강법에 유리한가?
• RQ5 하위레벨 세트의 연결성이 깊이 학습에서 확률적 경사하강법의 수렴 성질을 향상시키는가?

주요 결과

• 최소한 하나의 은닉층이 훈련 샘플 수보다 많은 뉴런을 가질 경우, 손실 함수의 모든 하위레벨 세트는 연결되어 있고 유계가 아님.
• 손실 함수는 나쁜 국소 골짜기가 없으며, 임의의 초기점에서 손실이 감소하거나 그 최소값에 수렴하는 연속적인 경로가 존재함.
• 유한한 전역 최소값이 존재할 경우, 이들은 단일한, 잠재적으로 매우 넓은 전역 골짜기 안에 연결되어 있음.
• 결과는 임의의 볼록 손실과 조각별 선형 활성화 함수를 갖는 표준 깊이 완전 연결 네트워크에 대해 성립하며, ReLU 및 Leaky-ReLU 포함.
• 하위레벨 세트의 연결성은 일반적인 비볼록 함수보다 국소 탐색 알고리즘에 훨씬 유리한 손실 곡면을 만드는 기하학적 성질임.
• 연결된 하위레벨 세트가 있음에도 불구하고, 초기화가 열악할 경우 경사하강법이 전역 최소값으로 수렴하지 못할 수 있으므로, 초기화가 여전히 핵심적인 요소임.