[논문 리뷰] The Global Landscape of Neural Networks: An Overview

Ruoyu Sun, Dawei Li외 3명|arXiv (Cornell University)|2020. 07. 02.

Stochastic Gradient Optimization Techniques참고 문헌 75인용 수 4

한 줄 요약

이 논문은 딥 네ural 네트워크의 전역 최적화 환경을 검토하며, 비볼록성에도 불구하고 경사 하강법이 자주 성공하는 이유를 분석한다. 과도하게 파rameter화된 네트워크가 특정 조건 하에서 나쁜 국소 최소값을 피할 수 있음을 입증하고, 정규화를 추가하거나 신경 장력 커널(NTK) 프레임워크를 사용하면 전역 수렴을 보장할 수 있음을 보여주며, 실무에서 넓은 딥 네트워크가 성공하는 데 이론적 근거를 제공한다.

ABSTRACT

One of the major concerns for neural network training is that the non-convexity of the associated loss functions may cause bad landscape. The recent success of neural networks suggests that their loss landscape is not too bad, but what specific results do we know about the landscape? In this article, we review recent findings and results on the global landscape of neural networks. First, we point out that wide neural nets may have sub-optimal local minima under certain assumptions. Second, we discuss a few rigorous results on the geometric properties of wide networks such as "no bad basin", and some modifications that eliminate sub-optimal local minima and/or decreasing paths to infinity. Third, we discuss visualization and empirical explorations of the landscape for practical neural nets. Finally, we briefly discuss some convergence results and their relation to landscape results.

연구 동기 및 목표

• 비볼록 손실 함수가 존재하는 바에 걸쳐 경사 하강법이 딥 네트워크를 성공적으로 훈련시키는 이유를 이해하는 것.
• 신경망 훈련에서 열악한 국소 최소값이 피하거나 제거되는 조건을 규명하는 것.
• 넓은 신경망의 유익한 기하학적 성질과 수렴 성질에 대한 엄밀한 이론적 증거를 제공하는 것.
• 정규화, 잔차 연결 등 아키텍처 수정이 최적화 곡면 성질을 향상시키는 방식을 분석하는 것.
• 이론적 곡면 발견과 실무 훈련 성공 간의 연결을 맺으며, 특히 넓이와 초기화의 역할을 설명하는 것.

제안 방법

• 약한 조건 하에서 모든 국소 최소값이 전역 최소값임을 보여주기 위해 깊은 선형 네트워크를 분석한다.
• 과도하게 파rameter화된 네트워크에서 최악의 국소 최소값을 피하는 경위를 설명하기 위해 '나쁜 골짜기 없음(no bad basin)' 개념을 도입한다.
• 초광역 네트워크에서 경사 하강법의 전역 수렴을 증명하기 위해 신경 장력 커널(NTK) 프레임워크를 적용한다.
• 훈련 동역학의 안정성과 수렴성을 분석하기 위해 NTK 그램 행렬 $K(\theta) = G(\theta)^T G(\theta)$ 를 사용한다.
• 손실 함수에 정규화를 도입하여 모든 국소 최소값이 전역 최소값이 되도록 보장하는 방법을 제안한다.
• 연속적 사상과 고유값 제약 조건 ($\lambda_{\min}(G(\theta(k))) \geq c$) 을 활용하여 특정 조건 하에서 전역 최소값으로의 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 신경망이 열악한 국소 최소값을 피하는 조건은 무엇인가?
• RQ2 아키텍처나 손실 수정을 통해 신경망의 전역 곡면을 '유익한'(예: 나쁜 골짜기가 없음) 것으로 만들 수 있는가?
• RQ3 신경 장력 커널(NTK) 프레임워크는 넓은 네트워크에서 전역 수렴을 어떻게 가능하게 하는가?
• RQ4 넓이, 초기화, 배치 정규화는 최적화 곡면을 어떻게 형성하는가?
• RQ5 실제 훈련 동역학과 NTK 기반 이론적 예측 간의 차이점은 무엇이며, 이론을 실무와 어떻게 일치시킬 수 있는가?

주요 결과

• 약한 조건 하에서 깊은 선형 네트워크는 열악한 국소 최소값이 없으며, 이는 전역 수렴을 보장한다.
• 과도하게 파rameter화된 비선형 네트워크는 특정 가정 하에 여전히 열악한 국소 최소값을 가질 수 있으며, 이는 '나쁜 국소 최소값 없음' 가설을 뒤엎는다.
• 넓은 네트워크에서 '나쁜 골짜기'가 없는 것은, 나쁜 국소 최소값이 존재하더라도 경사 하강법이 이를 피할 수 있음을 설명한다.
• 초광역 네트워크 ($\Omega(n^2)$ 너비) 에서는 NTK 이론을 통해 경사 하강법이 영속적으로 영속적인 손실 0에 수렴함을 보였다.
• 손실 함수에 정규화를 추가하면 모든 국소 최소값이 전역 최소값이 되도록 보장할 수 있으며, 이는 곡면 기하학을 향상시킨다.
• NTK 프레임워크 하에서, 기울기 행렬의 최소 특이값이 아래로 유계이면, 경사 하강법의 임의의 수렴점은 전역 최소값이며 손실이 0이 된다.