[논문 리뷰] All Local Minima are Global for Two-Layer ReLU Neural Networks: The Hidden Convex Optimization Landscape

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|2020. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 11

한 줄 요약

이 논문은 두 층의 ReLU 신경망에서 모든 국소 최소값이 전역 최소값임을 증명한다. 이는 최소 표현을 통한 최적화 경관의 볼록화를 통해 이루어지며, 이를 통해 임의의 신경망에 대해 최소 표현을 정의하고, 허위 골짜기(non-spurious valleys)가 존재하지 않는 조건을 제시하고, 전역 최적성 검증을 다항 시간 내에 수행할 수 있는 알고리즘을 제공한다.

ABSTRACT

We are interested in two-layer ReLU neural networks from an optimization perspective. We prove that the path-connected sublevel set, i.e., valleys, of a neural network which is Clarke stationary with respect to the training loss with weight decay regularization contains a specific, simpler and more structured neural network, which we call its minimal representation. We provide an explicit construction of a continuous path between the neural network and its minimal counterpart. Importantly, we show that characterizing the optimality properties of a neural network can be reduced to characterizing those of its minimal representation. Thanks to the specific structure of minimal neural networks, we show that we can embed them into a convex optimization landscape. Leveraging convexity, we are able to (i) characterize the minimal size of the hidden layer so that the neural network optimization landscape has no spurious valleys and (ii) provide a polynomial-time algorithm for checking if a neural network is a global minimum of the training loss. Overall, we provide a rich framework for studying the landscape of the neural network training loss through our embedding to a convex optimization landscape.

연구 동기 및 목표

• 가중치 감소 정규화를 적용한 두 층의 ReLU 신경망의 최적화 경관을 이해하기 위해.
• 임의의 신경망에 대해 최소 표현을 식별함으로써 모든 국소 최소값이 전역 최소값임을 증명하기 위해.
• 최적성 특성화가 최소 표현의 분석으로 축소됨을 보여주기 위해.
• 이론적 및 알고리즘적 이점을 얻기 위해 신경망 최적화 문제를 볼록 경관으로 통합하기 위해.
• 손실 경관에 허위 골짜기가 존재하지 않는 조건을 유도하고, 효율적인 전역 최적성 검증을 가능하게 하기 위해.

제안 방법

• 임의의 주어진 네트워크와 같은 부분수준 집합(sublevel set)에 포함되는 더 단순하고 구조화된 신경망인 최소 표현(minimal representation)의 개념을 도입하기 위해.
• 임의의 신경망에서 그 최소 표현으로의 연속적이고 경로 연결된 변환을 구축하여, 부분수준 집합 소속성을 유지하기 위해.
• 네트워크의 클라크 정류점(Clarke stationarity)이 그 최소 표현의 정류점임을 증명하여, 최적성 분석의 축소를 가능하게 하기 위해.
• 손실 경관의 구조를 유지하는 특정 매개변수화를 사용하여 최소 표현을 볼록 최적화 프레임워크에 통합하기 위해.
• 볼록성의 특성을 활용하여, 허위 골짜기가 존재하지 않도록 보장하는 히든 레이어의 너비에 대한 조건을 도출하기 위해.
• 주어진 네트워크가 훈련 손실의 전역 최소값인지 확인하기 위해 그 최소 표현을 검사하는 다항 시간 알고리즘을 설계하기 위해.

실험 결과

연구 질문

• RQ1 가중치 감소 정규화를 적용한 두 층의 ReLU 네트워크에서 모든 국소 최소값이 전역 최소값임을 증명할 수 있는가?
• RQ2 신경망의 어떤 구조적 성질이 그 최적화 경관을 볼록 경관으로 통합할 수 있게 하는가?
• RQ3 신경망의 최소 표현은 무엇이며, 원래 네트워크의 최적성과 어떻게 관련이 있는가?
• RQ4 히든 레이어의 너비에 대해 어떤 조건이면 훈련 손실 경관에 허위 골짜기가 존재하지 않는가?
• RQ5 학습된 네트워크의 전역 최적성은 다항 시간 내에 검증할 수 있는가?

주요 결과

• 가중치 감소 정규화를 적용한 두 층의 ReLU 네트워크에서 모든 국소 최소값은 최소 표현의 볼록 통합 덕분에 전역 최소값이다.
• 신경망의 최소 표현은 더 단순하고 구조화된 네트워크로, 동일한 부분수준 집합에 위치하며 원래 네트워크의 모든 최적성 성질을 포괄한다.
• 임의의 신경망과 그 최소 표현 사이에 연속적인 경로가 존재하여 부분수준 집합의 경로 연결성(path-connectedness)을 보장한다.
• 최소 표현은 볼록 최적화 경관에 통합될 수 있어 볼록 분석 도구의 사용이 가능하다.
• 주어진 신경망이 훈련 손실의 전역 최소값인지 확인하기 위한 다항 시간 알고리즘이 존재한다.
• 최소 표현 프레임워크 하에 히든 레이어의 크기가 훈련 샘플 수 이상이면, 훈련 손실 경관에 허위 골짜기가 존재하지 않는다.