[논문 리뷰] On the Benefit of Width for Neural Networks: Disappearance of Bad Basins

Dawei Li, Tian Ding외 1명|arXiv (Cornell University)|2018. 12. 28.

Stochastic Gradient Optimization Techniques참고 문헌 88인용 수 31

한 줄 요약

이 논문은 넓은 신경망—특히 마지막 히든 레이어에 최소 N개의 뉴런을 가진 경우(여기서 N은 훈련 샘플 수임)—의 손실 경관이 최적의 지점보다 열 劣한 골짜기(집합적으로 엄격한 국소 최소점)를 포함하지 않음을 증명한다. 반면, N개 미만의 뉴런을 가진 좁은 신경망은 이러한 나쁜 골짜기를 가질 수 있다. 주요 기여는 활성화 함수와 데이터에 대한 최소한의 가정 하에 넓이에 의한 단일적인 단계 전이—즉, 최적화에 취약한 좁은 네트워크에서 최적화에 강건한 넓은 네트워크로의 전이—를 규명한 것이다.

ABSTRACT

Wide networks are often believed to have a nice optimization landscape, but what rigorous results can we prove? To understand the benefit of width, it is important to identify the difference between wide and narrow networks. In this work, we prove that from narrow to wide networks, there is a phase transition from having sub-optimal basins to no sub-optimal basins. Specifically, we prove two results: on the positive side, for any continuous activation functions, the loss surface of a class of wide networks has no sub-optimal basins, where "basin" is defined as the set-wise strict local minimum; on the negative side, for a large class of networks with width below a threshold, we construct strict local minima that are not global. These two results together show the phase transition from narrow to wide networks.

연구 동기 및 목표

• 깊이와 표현 능력 이외의 넓이에 특화된 엄밀한 이점을 규명하기 위해
• 넓이만으로도 손실 경관에서 최적의 국소 최소점(나쁜 골짜기)이 제거되는지 확인하기 위해
• 최적화 경관의 구조적 측면에서 좁은 네트워크에서 넓은 네트워크로의 단계 전이를 수립하기 위해
• 모든 연속적인 활성화 함수에 대해, 마지막 히든 레이어에 N개 이상의 뉴런을 가진 넓은 네트워크가 나쁜 골짜기가 존재하지 않음을 증명하기 위해
• 넓은 네트워크에 나쁜 골짜기가 존재하는 명시적 예시를 구성하여 넓이가 경관 단순화에 필수적임을 보여주기 위해

제안 방법

• 소작적 감소 경로가 어떤 작은 교란 이후에도 전역 최소점으로 향하는 'Property PT'를 도입하고 공식화하기
• Property PT가 하위최적의 집합적으로 엄격한 국소 최소점(나쁜 골짜기)의 부재를 의미함을 증명함으로써 약한 전역성 확보하기
• 유니버설 근사성과 활성화 함수의 연속성에 기반해 넓은 네트워크의 경험적 손실을 Property PT를 갖는 함수의 클래스로 근사하기
• N개 이하의 뉴런을 가진 1-히든 레이어 네트워크와 해석적 활성화 함수를 사용해, 전역 최소점이 아닌 엄격한 국소 최소점을 갖는 명시적 반례를 구성함으로써 이러한 최소점의 존재를 입증하기
• 특정 네트워크 인스턴스에서 나쁜 골짜기의 존재를 검증하기 위해 활성화 도함수를 포함하는 방정식계의 타당한 해를 찾는 계산적 방법 적용하기
• 기하학적 및 분석 기법을 적용해, 마지막 히든 레이어에 N개 이상의 뉴런을 가진 넓은 네트워크에서는 활성화 함수의 연속성과 관계없이 어떤 나쁜 골짜기도 존재하지 않음을 증명하기

실험 결과

연구 질문

• RQ1 넓이만 증가시켜도 신경망의 손실 경관에서 최적의 국소 최소점이 제거되는가?
• RQ2 최적화 경관의 구조적 측면에서 좁은 네트워크에서 넓은 네트워크로의 단계 전이를 엄밀히 증명할 수 있는가?
• RQ3 어느 네트워크 넓이에서 연속적인 활성화 함수에 대해 손실 함수가 약한 전역성(즉, 나쁜 골짜기가 없음)을 가지게 되는가?
• RQ4 넓은 클래스의 활성화 함수에 대해 최적의 엄격한 국소 최소점을 갖는 명시적 좁은 네트워크를 구성할 수 있는가?
• RQ5 넓은 네트워크에서 나쁜 골짜기의 부재는 깊이, 데이터 분포, 또는 활성화 함수 유형에 의존하는가?

주요 결과

• 모든 연속적인 활성화 함수에 대해, 마지막 히든 레이어에 최소 N개의 뉴런을 가진 완전히 연결된 피드포워드 신경망은 손실 경관에서 나쁜 골짜기가 존재하지 않는다(여기서 N은 훈련 샘플 수이다).
• 이러한 넓은 네트워크의 손실 함수는 약한 전역성을 갖는다. 즉, 유계이면서 잘못된 국소 최소점 영역이 존재하지 않으며, 평탄한 국소 최소점 영역이 존재하더라도 마찬가지다.
• 좁은 네트워크에서 넓은 네트워크로의 단계 전이가 발생한다: 마지막 히든 레이어에 N개 미만의 뉴런을 가진 네트워크는 전역 최소점이 아닌 엄격한 국소 최소점을 가질 수 있지만, N개 이상의 뉴런을 가진 네트워크는 그렇지 않다.
• Swish 활성화 함수를 사용하고 특정 데이터를 가진 1-히든 레이어 네트워크의 경우, 계산적 구성에 의해 (v,w)=(1,1)에서 최적의 국소 최소점이 존재함을 확인하여 이론적 나쁜 골짜기 존재의 타당성을 검증한다.
• 최소한의 가정 하에 결과가 성립한다: 활성화 함수의 연속성과 충분한 넓이(마지막 히든 레이어에 N개 이상의 뉴런)만 필요로 한다.
• 이 논문은 무한한 넓이나 특정 데이터 분포를 요구하지 않으며, 넓이만으로도 나쁜 골짜기를 제거할 수 있음을 보여주며, 최적화에서 넓이의 명확한 이론적 이점을 제공한다.