[논문 리뷰] Non-attracting Regions of Local Minima in Deep and Wide Neural Networks

Henning Petzka, Cristian Sminchisescu|arXiv (Cornell University)|2018. 12. 16.

Neural Networks and Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 시그모이드 활성화를 가진 깊고 매우 넓은 완전 연결 신경망에서 열열한 국소 최소값—비록 열열한 경우이지만—존재할 수 있음을 보여준다. 구성적 접근을 통해 이러한 국소 최소값이 비흡인 영역 내에 존재함을 증명하며, 이는 손실 표면 상에서 손실이 증가하지 않는 경로를 통해 탈출 가능함을 의미한다. 이는 그래디언트 기반 방법이 이러한 국소 최소값이 존재함에도 불구하고 성공할 수 있음을 설명한다.

ABSTRACT

Understanding the loss surface of neural networks is essential for the design of models with predictable performance and their success in applications. Experimental results suggest that sufficiently deep and wide neural networks are not negatively impacted by suboptimal local minima. Despite recent progress, the reason for this outcome is not fully understood. Could deep networks have very few, if at all, suboptimal local optima? or could all of them be equally good? We provide a construction to show that suboptimal local minima (i.e., non-global ones), even though degenerate, exist for fully connected neural networks with sigmoid activation functions. The local minima obtained by our construction belong to a connected set of local solutions that can be escaped from via a non-increasing path on the loss curve. For extremely wide neural networks of decreasing width after the wide layer, we prove that every suboptimal local minimum belongs to such a connected set. This provides a partial explanation for the successful application of deep neural networks. In addition, we also characterize under what conditions the same construction leads to saddle points instead of local minima for deep neural networks.

연구 동기 및 목표

• 비최적의 국소 최소값이 깊고 매우 넓은 신경망에 존재하는지 조사하여, 모든 국소 최소값이 전역 최소값임을 전제로 하는 가정을 도전한다.
• 이러한 국소 최소값의 기하학적 구조를 특성화하며, 특히 이들이 흡인 영역 또는 비흡인 영역에 위치하는지 여부를 규명한다.
• 단일 은닉층 네트워크에 대한 이전 결과를 넓이가 감소하지 않는 깊은 아키텍처로 확장한다.
• 초기화 및 확률적 성격이 비최적의 최소값을 피하는 데 어떤 역할을 하는지 명확히 한다. 비록 이러한 최소값이 존재하더라도 말이다.
• 동일한 구성이 깊은 네트워크에서 국소 최소값이 아닌 안장점이 되는 조건을 규명한다.

제안 방법

• Fukumizu와 Amari(2000)의 방법을 활용해 얕은 네트워크에서 비최적의 국소 최소값의 가족을 구성한 후, 이를 깊은 네트워크로 확장한다.
• 연속적인 매개변수 경로를 사용하여 네트워크 내에서 임의의 활성화 경로를 실현하며, 이 경로를 따라 손실이 증가하지 않도록 보장한다.
• 층을 거쳐서 귀납적으로, 출력층에서의 임의의 연속 경로가 깊은 층에서의 연속적인 매개변수 변화를 통해 실현될 수 있음을 보여준다.
• 핵심 보조정리(Lemma 20)를 활용하여, 넓은 층이 입력 공간을 커버하고 이후 가중치 행렬이 전위수를 가지면, 출력에서의 예측 경로가 연속적인 매개변수 변형에 의해 실현될 수 있음을 증명한다.
• 현재 예측에서 목표 레이블로의 경로를 도입한다: $ f_{\Gamma}(t) = \mathbf{z} + t(\mathbf{y} - \mathbf{z}) $, 이는 손실을 단조 감소시킨다.
• 넓은 층의 활성화 공간이 전차원적이며, 이후 가중치 행렬이 전위수를 가지므로 경로 실현 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 깊고 매우 넓은 완전 연결 신경망에서 시그모이드 활성화를 가진 비최적의 국소 최소값이 존재하는가?
• RQ2 만약 이러한 최소값이 존재한다면, 이들은 비흡인 영역에 속해 있는가? 이는 손실 표면 상에서 손실이 증가하지 않는 경로를 통해 탈출 가능함을 의미한다.
• RQ3 이러한 네트워크에서 모든 국소 최소값이 전역 최소값으로 향하는 연속적이고 손실이 증가하지 않는 경로로 연결될 수 있는가?
• RQ4 어떤 아키텍처 조건(예: 넓이의 순서)에서 이러한 비흡인 구조가 유지되는가?
• RQ5 깊은 네트워크에서 동일한 구성이 국소 최소값이 아닌 안장점이 되는 경우는 언제인가?

주요 결과

• 깊고 매우 넓은 완전 연결 신경망에서 시그모이드 활성화 함수를 사용할 경우, 비최적의 국소 최소값이 존재한다. 비록 이는 열열한 경우이지만 말이다.
• 넓이가 넓은 층 이후로 감소하지 않는 네트워크에서 이러한 비최적의 국소 최소값은 모두 손실 표면 상에서 손실이 증가하지 않는 경로로 탈출 가능한 연결된 집합에 속해 있다.
• 이 구성은 임의의 국소 최소값에 대해, 손실이 경로를 따라 증가하지 않는 연속적인 매개변수 경로가 존재함을 보장한다.
• 이러한 경로의 존재는 그래디언트 기반 방법(예: SGD)이 이러한 최소값을 탈출할 수 있음을 의미하며, 이는 그들의 확률적 탐색 성질 덕분이다.
• 결과는 측도가 0인 매개변수 값 이외의 모든 경우에 대해 성립하며, 이는 이전의 단일 은닉층 네트워크 결과를 더 깊은 아키텍처로 확장한 것이다.
• 동일한 구성은 네트워크의 넓이와 활성화 제약 조건에 따라 국소 최소값이 아닌 안장점으로 이어질 수 있다.