[논문 리뷰] On the Quality of the Initial Basin in Overspecified Neural Networks

Itay Safran, Ohad Shamir|arXiv (Cornell University)|2015. 11. 13.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 랜덤 초기화를 가진 과잉파ram터화된 ReLU 신경망에서 손실 곡면의 기하적 성질을 조사한다. 네트워크의 폭이 증가함에 따라, 낮은 목표 값의 분지에 초기화되거나 전역 최소값으로 향하는 경로에 초기화될 확률이 크게 증가함을 보여주며, 이는 비볼록성에도 불구하고 과잉파라미터화가 최적화의 용이성을 향상시킨다는 것을 시사한다.

ABSTRACT

Deep learning, in the form of artificial neural networks, has achieved remarkable practical success in recent years, for a variety of difficult machine learning applications. However, a theoretical explanation for this remains a major open problem, since training neural networks involves optimizing a highly non-convex objective function, and is known to be computationally hard in the worst case. In this work, we study the \emph{geometric} structure of the associated non-convex objective function, in the context of ReLU networks and starting from a random initialization of the network parameters. We identify some conditions under which it becomes more favorable to optimization, in the sense of (i) High probability of initializing at a point from which there is a monotonically decreasing path to a global minimum; and (ii) High probability of initializing at a basin (suitably defined) with a small minimal objective value. A common theme in our results is that such properties are more likely to hold for larger ("overspecified") networks, which accords with some recent empirical and theoretical observations.

연구 동기 및 목표

• 높은 비볼록성의 손실 함수에도 불구하고 과잉파라미터화된 신경망이 왜 최적화가 용이한지 이해하기 위해.
• 넓은 네트워크에서의 랜덤 초기화가 최적화에 유리한 영역에 떨어질 가능성이 있는지 조사하기 위해.
• 실제 학습 성공을 설명할 수 있는 기하적 성질—특히 단조 감소 경로와 낮은 최소값 분지의 존재—를 규명하기 위해.
• 크기가 증가함에 따라 유리한 초기화 성질이 나타남을 보여주어, 더 큰 네트워크가 더 쉽게 학습된다는 직관을 수학적으로 정립하기 위해.

제안 방법

• 완전히 연결된 ReLU 네트워크의 손실 곡면을 랜덤 가중치 초기화 하에 분석한다.
• 초기화점에서 전역 최소값으로 향하는 연속적이고 엄격히 감소하는 경로의 존재를 기하학적 접근법으로 연구한다.
• 측도 집중 및 체르노프 경계를 적용하여, 열악한 분지에 초기화될 확률이 넓이에 따라 지수적으로 감소함을 보인다.
• 지수적으로 많은 국소 최소값을 포함하는 명시적 반례를 구축한다. 이 중 하나는 값 ε을 가진 전역 최소값이며, 나머지는 더 높은 값을 가진다.
• 일차원 손실 구성 방식을 d차원 공간으로 확장하여, 국소 최소값이 차원 간의 곱 구조를 이룸을 보인다.
• 손실과 데이터에 대한 약한 가정 하에, 목표 값 ≤ c/4 인 분지에 초기화될 확률이 e^(-d/16) 비례하여 감소함을 보였다. 여기서 d는 넓이이다.

실험 결과

연구 질문

• RQ1 과잉파라미터화된 ReLU 네트워크에서의 랜덤 초기화는 최적화에 유리한 기하적 성질을 가진 영역에 떨어질 가능성이 높은가?
• RQ2 랜덤 초기화 점이 전역 최소값으로 향하는 연속적이고 단조 감소하는 경로 위에 있을 확률은 얼마인가?
• RQ3 최악의 경우 구성에서 국소 최소값의 수와 그 목표 값은 네트워크의 폭에 따라 어떻게 변화하는가?
• RQ4 서브옵티멀한 국소 최소값이 존재하더라도, 넓은 네트워크일수록 낮은 손실 분지에 초기화될 가능성이 더 높다는 것을 공식적으로 보일 수 있는가?
• RQ5 최적화 동역학과 독립적으로 네트워크의 폭이 증가함에 따라 손실 곡면의 유리한 기하적 성질이 얼마나 강하게 나타나는가?

주요 결과

• 네트워크의 폭이 증가함에 따라, 전역 최소값으로 향하는 연속적이고 엄격히 단조 감소하는 경로가 존재하는 초기화 점에 도달할 확률은 1에 수렴한다.
• 목표 값 ≤ c/4 인 분지에 초기화될 확률은 넓이 d에 따라 지수적으로 감소하며, 특히 e^(-d/16) 이하로 유계됨을 보였다.
• 2^d개의 국소 최소값을 포함하는 d차원 예시에서, 전역 최소값은 값 ε을 가지며, 나머지 국소 최소값들은 모두 비최적임을 확인하였다.
• 최악의 경우 구성에서도, 높은 목표 값을 가진 열악한 분지에 초기화될 확률은 넓이 증가에 따라 지수적으로 감소함을 보였다.
• 결과는 넓은 네트워크일수록 더 쉽게 학습된다는 경험적 관찰을 지지하며, 유리한 손실 곡면 영역에서 초기화될 가능성이 더 높다는 점을 시사한다.
• 분석은 제곱 손실과 교차 엔트로피와 같은 볼록 손실을 가진 표준 ReLU 네트워크에 적용되며, 데이터와 손실 함수에 대한 약한 가정 하에 성립한다.